在進(jìn)行AI模型開發(fā)時，數(shù)據(jù)的數(shù)量與質(zhì)量直接影響模型效果。在實(shí)地數(shù)據(jù)采集之后，企業(yè)往往需要從大量數(shù)據(jù)中篩選出符合訓(xùn)練要求的相關(guān)數(shù)據(jù)，剔除質(zhì)量差或不相關(guān)的數(shù)據(jù)，這個步驟被稱為數(shù)據(jù)清洗。

通常來講，在清洗數(shù)據(jù)時主要會清理掉對訓(xùn)練任務(wù)沒有用途的數(shù)據(jù)，例如在訓(xùn)練工廠工人佩戴安全帽識別模型時，希望在視頻抽幀后的大量圖片中僅保留有工人出現(xiàn)的圖片進(jìn)行標(biāo)注訓(xùn)練。在這一步驟上，傳統(tǒng)做法是進(jìn)行人工篩選，人力投入較多且容易發(fā)生遺漏；隨著人工智能發(fā)展，目前許多平臺，如百度大腦AI開放平臺，已經(jīng)提供人臉檢測、人體檢測的通用接口，用戶可以先調(diào)用接口處理數(shù)據(jù)，篩選出采集到人像的數(shù)據(jù)，再進(jìn)入到具體的檢測識別步驟。那么，是否有一個集成了各項(xiàng)數(shù)據(jù)處理能力，盡量減少人工干預(yù)，能夠自動完成視頻數(shù)據(jù)采集、抽幀、數(shù)據(jù)清洗、智能標(biāo)注，從而高效提取高質(zhì)量訓(xùn)練數(shù)據(jù)的解決方案呢？

關(guān)注到有越來越多的用戶對數(shù)據(jù)處理有強(qiáng)烈需求，今年4月，百度全新推出智能數(shù)據(jù)服務(wù)平臺EasyData，集數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注等功能于一身，完成上述數(shù)據(jù)處理工作之后，可以在EasyDL平臺進(jìn)行模型訓(xùn)練、模型部署。

針對數(shù)據(jù)清洗這一具體功能，EasyData目前上線了去相似、去模糊、旋轉(zhuǎn)、裁剪和鏡像這5種基礎(chǔ)的數(shù)據(jù)清洗功能。那么除了常規(guī)能力之外，EasyData還有什么業(yè)內(nèi)獨(dú)家的終極秘技？

從應(yīng)用出發(fā)，高級清洗功能讓數(shù)據(jù)處理事半功倍

在園區(qū)智能管理等場景下，需要監(jiān)測工廠園區(qū)、林區(qū)中是否有人闖入，或檢查工人是否佩戴安全帽。為了滿足此類場景下的圖片清洗需求，EasyData上線了高級清洗功能，將無人臉、無人體出現(xiàn)的數(shù)據(jù)進(jìn)行過濾。EasyData聯(lián)動百度大腦AI開放平臺提供的前沿技術(shù)能力，用戶僅需在百度智能云上開通相應(yīng)的服務(wù)（人臉檢測和人體檢測都可以免費(fèi)試用），就可以通過簡單的配置，在EasyData平臺上直接使用這些功能進(jìn)行自動數(shù)據(jù)清洗。

1、過濾無人臉圖片

如果以前沒有用過百度智能云的人臉檢測服務(wù)，第一次使用高級清洗的功能會提示“申請免費(fèi)試用”，點(diǎn)擊鏈接會進(jìn)入百度智能云人臉檢測的頁面，按照提示，開通服務(wù)后，再回到EasyData的頁面就可以正常使用了。

和基礎(chǔ)的數(shù)據(jù)清洗服務(wù)一樣，過濾無人臉圖片也是以數(shù)據(jù)集為單位的。在數(shù)據(jù)清洗頁面選擇過濾無人臉圖片，點(diǎn)擊保存，提交任務(wù)就可以進(jìn)行清洗。如果勾選了“保留標(biāo)簽”，那么不僅會把沒有人臉的圖片過濾，還會將人臉畫框同步至清洗后的數(shù)據(jù)集。

例如下圖，清洗前的數(shù)據(jù)集除了人臉圖片，還有一些風(fēng)景照、車輛等其他物體的照片，人臉過濾會把這些沒有人臉的圖片過濾，保留下來包含人臉的圖片，包括戴口罩、被遮擋的人臉也可以識別出來。

過濾無人體圖片同樣會用到百度智能云的人體檢測能力，在使用之前需要在百度智能云上開通相應(yīng)的服務(wù)。過濾無人體圖片會用到兩個接口，人體檢測和屬性分析（https://ai.baidu.com/tech/body/attr）和人像分割（https://ai.baidu.com/tech/body/seg）。數(shù)據(jù)集模板為圖像分類和物體檢測的數(shù)據(jù)集會調(diào)用人體檢測和屬性分析接口，數(shù)據(jù)集模板為圖像分割的數(shù)據(jù)集會調(diào)用人像分割接口。百度智能云上的人像分割接口返回的是人像圖片對應(yīng)的二值圖片（人像為1，背景為0），在后端會執(zhí)行相應(yīng)的標(biāo)簽轉(zhuǎn)換，返回的二值圖片轉(zhuǎn)換成對應(yīng)的標(biāo)簽。

關(guān)注廣泛需求，提供多種基礎(chǔ)數(shù)據(jù)清洗功能

1、去相似圖片

用攝像頭自動采集圖片的時候，由于長時間在同一個場景下，即使做了抽幀處理，還是會有大量的相似圖片。大量的相似圖片，數(shù)據(jù)價值低，而且占用了大量的存儲空間，而人工篩選，耗時費(fèi)力，容易出錯。EasyData平臺推出的去相似圖片利用圖片的相似檢索特征，計算圖片的兩兩相關(guān)性，可以自動地判斷相似圖片、保留不相似的圖片，具體操作也十分簡便。

如下圖所示，去相似前的數(shù)據(jù)集里有8張圖片，根據(jù)圖片的相似度，圖片可以分成3類。清洗完成后的數(shù)據(jù)集中有3張圖片，分別是清洗前的3類圖片中的一張。

2、去模糊圖片

相機(jī)抖動、物體快速移動都會造成拍出來的圖片不清晰、產(chǎn)生低質(zhì)圖片。通過人工挑選的方法去除模糊圖片缺乏統(tǒng)一的標(biāo)準(zhǔn)，容易漏刪或多刪。利用EasyData的去模糊圖片，可以輕易地去除模糊圖片。

以示例圖片為例，清洗前有5張圖片，畫質(zhì)不一，清洗后保留下來兩張高質(zhì)量的圖片。此外，如果用戶認(rèn)為有部分模糊圖片沒有去除，或者高質(zhì)量的圖片沒有保留下來，可以考慮調(diào)整清晰度的分值，重新清洗。

對于普通清洗，可以在一個清洗任務(wù)中提交多個清洗操作，例如同時勾選去相似、去模糊功能，即可同時去除相似和模糊的圖片。

目前的數(shù)據(jù)清洗服務(wù)所能支持的最大數(shù)據(jù)集大小是5萬張圖片。基于EasyData平臺的大數(shù)據(jù)處理平臺，對于基礎(chǔ)清洗服務(wù)，2萬張圖片的數(shù)據(jù)集，僅需1小時可以完成清洗；5萬張圖片的數(shù)據(jù)集，只需2小時即可完成清洗。對于高級清洗服務(wù)來說，清洗效率也可以通過配置QPS靈活調(diào)整清洗效率，更方便快捷。

考慮到智能園區(qū)管理等場景中，有對視頻進(jìn)行截幀、自動上傳的需求，EasyData平臺也免費(fèi)提供SDK，供用戶進(jìn)行下載，可以將SDK接入業(yè)務(wù)現(xiàn)場的數(shù)據(jù)采集終端，在平臺設(shè)置截幀時間與間隔，自動將原始視頻數(shù)據(jù)截為圖片數(shù)據(jù)并上傳至EasyData平臺進(jìn)行后續(xù)處理。

EasyData是百度大腦推出的業(yè)內(nèi)首個提供軟硬一體、端云協(xié)同的智能數(shù)據(jù)采集與處理平臺，支持圖片、文本、音頻和視頻四類數(shù)據(jù)的處理，其中圖片數(shù)據(jù)支持了采集、清洗、標(biāo)注一站式處理，覆蓋模型開發(fā)中的各類數(shù)據(jù)管理需求。EasyData處理后的數(shù)據(jù)可直接應(yīng)用于EasyDL模型訓(xùn)練，通過EasyDL預(yù)訓(xùn)練模型和自動遷移學(xué)習(xí)機(jī)制，高效開發(fā)AI模型。
責(zé)編AJX