這是一個數(shù)據(jù)大爆炸的時代。

根據(jù)IDC 發(fā)布的《數(shù)據(jù)時代2025》白皮書，全球數(shù)據(jù)量大約每兩年就將翻一倍。到2025年，全球數(shù)據(jù)總量將攀升至163ZB。而且自動駕駛、物聯(lián)網(wǎng)等新技術(shù)正在不斷推動數(shù)據(jù)量的爆炸。每輛自動駕駛汽車每秒就會產(chǎn)生 6-8GB 的數(shù)據(jù)，現(xiàn)在國內(nèi)一線城市的攝像頭數(shù)量都在百萬級別，每時每刻產(chǎn)生大量的數(shù)據(jù)。

好在，機器學(xué)習(xí)可以成為處理大規(guī)模數(shù)據(jù)的利器。數(shù)據(jù)是人工智能的燃料，機器學(xué)習(xí)的發(fā)展，就是伴隨著數(shù)據(jù)處理難度和復(fù)雜性的升級而不斷升級。如何更好的幫機器學(xué)習(xí)開發(fā)者打通數(shù)據(jù)屏障，已經(jīng)成為領(lǐng)先的人工智能企業(yè)的重要課題。

在不久前舉行的亞馬遜re:Invent大會上，AWS共發(fā)布180項新的服務(wù)和功能，其中，一系列用機器學(xué)習(xí)加速數(shù)據(jù)分析的服務(wù)備受關(guān)注。全托管的機器學(xué)習(xí)服務(wù)平臺Amazon SageMaker發(fā)布了九項新功能，其中與數(shù)據(jù)處理直接相關(guān)的就有三個。此外，AWS還將機器學(xué)習(xí)融入數(shù)據(jù)庫分析領(lǐng)域，賦能數(shù)據(jù)庫分析師。當(dāng)機器學(xué)習(xí)與數(shù)據(jù)分析緊密融合，將解決哪些痛點？

為什么算法工程師每天都在搞數(shù)據(jù)？

很多人眼中，機器學(xué)習(xí)算法工程師的日常是這樣的：選擇并優(yōu)化算法、訓(xùn)練與調(diào)優(yōu)模型、部署模型與驗證模型。實際上，算法工程師大約有70%的時間是花在數(shù)據(jù)上的，花在模型和調(diào)參上的只有不到20%，這種現(xiàn)狀引發(fā)了不少開發(fā)者的共鳴。

為什么會這樣？在機器學(xué)習(xí)過程中，原始數(shù)據(jù)是不能直接用來訓(xùn)練模型的，需要復(fù)雜的處理流程。模型訓(xùn)練所需的數(shù)據(jù)通常來自不同類型的來源，并且格式多樣。這意味著開發(fā)人員必須花費相當(dāng)多的時間提取和規(guī)范這些數(shù)據(jù)。

Amazon SageMaker是幫助開發(fā)者快速建立、訓(xùn)練和部署機器學(xué)習(xí)模型的平臺，旨在簡化開發(fā)流程，縮短開發(fā)時間，讓開發(fā)者將更多精力放在最核心的模型訓(xùn)練上。

此前，AWS發(fā)布的Amazon SageMaker Ground Truth 這個功能可以通過主動學(xué)習(xí)自動為輸入的數(shù)據(jù)添加標簽。主動學(xué)習(xí)是一種機器學(xué)習(xí)方法，它會識別需要人工添加標簽的數(shù)據(jù)以及可以由機器添加標簽的數(shù)據(jù)。與人工為整個數(shù)據(jù)集添加標簽相比，Ground Truth最高可減少 70%的成本，并縮短添加標簽的時間。

為了進一步簡化機器學(xué)習(xí)過程中數(shù)據(jù)處理方面的復(fù)雜性，今年re:Invent大會，Amazon SageMaker推出了兩個全新的功能，分別幫助算法工程師簡化數(shù)據(jù)處理和進行特征管理。

Amazon SageMaker Data Wrangler 提供了更易用的數(shù)據(jù)預(yù)處理，大大簡化了數(shù)據(jù)準備和特征工程的工作。Data Wrangler支持從各種數(shù)據(jù)存儲中一鍵導(dǎo)入所需數(shù)據(jù)，其包含超過 300 個內(nèi)置的數(shù)據(jù)轉(zhuǎn)換器，可以幫助客戶在無需編寫任何代碼的情況下，對特征進行規(guī)范化、轉(zhuǎn)換和組合。

Amazon SageMaker Feature Store是用來存儲、更新、檢索和共享機器學(xué)習(xí)特征的工具。目前，這項特征可以被保存到Amazon S3中。

Feature Store解決的痛點是，大多數(shù)特征并不是只用于一個模型，而是被多個開發(fā)人員和數(shù)據(jù)科學(xué)家重復(fù)用于多個模型中。此前，工程師只能自行開發(fā)應(yīng)用程序來跟蹤管理特征，但工作量很大而且容易出錯。有了Feature Store，用于訓(xùn)練的大批量特征，以及用于推理的小批量特征子集，都可以保持特征的一致性和更新的及時性。

數(shù)據(jù)偏見不可避免嗎？

人類通常是非理性的，有很多認知偏差，不能準確地認知自身及外部環(huán)境的真實狀態(tài)。在人們信息收集、信息加工、信息輸出和信息反饋的各個階段，都會產(chǎn)生認知偏差。機器學(xué)習(xí)也會產(chǎn)生偏見，這些偏見廣泛存在于機器學(xué)習(xí)的各個環(huán)節(jié)，包括數(shù)據(jù)偏見、算法偏見等等。

數(shù)據(jù)偏見是指人們在工作中，由于各種原因不經(jīng)意把并非完整客觀的數(shù)據(jù)進行收集并處理，而使得結(jié)果產(chǎn)出發(fā)生“偏見”。數(shù)據(jù)偏見是機器學(xué)習(xí)中一種普遍的難題，通常會導(dǎo)致數(shù)據(jù)集的某些元素比其他元素具有更大的權(quán)重或表示。常見的數(shù)據(jù)偏見有樣本偏差、排除偏差、測量偏差等等。

有偏見的數(shù)據(jù)集會導(dǎo)致分析模型的結(jié)果偏斜，準確性低甚至分析錯誤。比如一個主要用白種人人臉數(shù)據(jù)庫訓(xùn)練出來的面部識別系統(tǒng)，對不同種族的人的識別準確度要低得多。

Amazon SageMaker Clarify這個新功能可以在整個機器學(xué)習(xí)工作流中進行偏差檢測和模型解釋。此前，開發(fā)人員通常使用開源工具檢測統(tǒng)計偏差，但這需要大量的人工編程，而且經(jīng)常容易出錯。Clarify讓開發(fā)人員在數(shù)據(jù)準備階段就能發(fā)現(xiàn)數(shù)據(jù)偏差。目前，Clarify 已集成到 Data Wrangler，它運行了一系列基于特征數(shù)據(jù)的算法，用以識別數(shù)據(jù)準備過程中的偏差，并且清晰描述可能的偏差來源及其嚴重程度。

此外，隨著機器學(xué)習(xí)模型越來越多地幫助人類進行決策分析，人們對機器學(xué)習(xí)的可解釋性的要求越來越高。可解釋性是指人類能夠理解決策原因的程度。如果人們能夠更多地了解模型的決策過程（原因和方式），就能增加對模型的信任。歐盟在 GDPR（GeneralData Protection Regulation）條例中明確要求，當(dāng)采用機器做出針對某個體的決定時，比如自動拒絕一個在線信貸申請，該決定必須符合一定要求的可解釋性。

Amazon SageMaker Clarify的另一大價值在于提供了數(shù)據(jù)模型的可解釋性。“它能幫助你去分析哪些特征對模型的預(yù)測更重要，特征和模型之間的關(guān)系不再像原來是黑盒子，而是有更強的透明度。” AWS大中華區(qū)云服務(wù)產(chǎn)品管理總經(jīng)理顧凡表示。

數(shù)據(jù)庫分析師怎么用好機器學(xué)習(xí)？

數(shù)據(jù)分析和機器學(xué)習(xí)有很多重合之處。

機器學(xué)習(xí)很高深，但尚處早期，受眾有限。今年，AWS在機器學(xué)習(xí)領(lǐng)域的一大動作就是“擴圈”，尋找更廣泛的“圈外”開發(fā)者加入進來，使他們基于既有知識體系就輕松上手。AWS機器學(xué)習(xí)的“擴圈”正是從與數(shù)據(jù)分析的結(jié)合開始。

相比機器學(xué)習(xí)開發(fā)者，數(shù)據(jù)庫開發(fā)者和數(shù)據(jù)庫分析師是一個更龐大的專業(yè)群體。他們是否需要學(xué)習(xí)機器學(xué)習(xí)算法開發(fā)，才能享用機器學(xué)習(xí)帶來的便利？AWS認為，完全不必。

2020亞馬遜re:Invent大會上，AWS全球機器學(xué)習(xí)副總裁Swami Sivasubramanian 一口氣發(fā)布了一系列產(chǎn)品服務(wù)，包括Amazon Aurora ML、Amazon Athena ML、Amazon Redshift ML、Amazon Neptune ML、Amazon QuickSight Q，分別把機器學(xué)習(xí)能力融進了關(guān)系型數(shù)據(jù)庫、Amazon S3的 SQL 查詢、數(shù)據(jù)倉庫、圖數(shù)據(jù)庫、商業(yè)智能等領(lǐng)域。數(shù)據(jù)分析人員只需使用早已爛熟的 SQL 語句，就能進行連帶機器學(xué)習(xí)功能的操作。

以 Amazon Aurora ML 為例，當(dāng)用戶通過 SQL 查詢客戶信息以試圖找到一些負面反饋時，Amazon Aurora ML 會自動調(diào)度 Amazon Comprehend 這樣的 AI 服務(wù)來返回具備 AI 支持的查詢結(jié)果。

機器學(xué)習(xí)尚處在早期階段。據(jù)德勤發(fā)布的《全球人工智能發(fā)展白皮書》預(yù)測，到2025年，世界人工智能市場規(guī)模將超過6萬億美元。可以預(yù)見，在應(yīng)對數(shù)據(jù)挑戰(zhàn)方面，機器學(xué)習(xí)提供給開發(fā)者的工具集將日益豐富，機器學(xué)習(xí)開發(fā)的門檻將越來越低。
編輯：hfy