算法是一面鏡子，映射了人類社會許多固有的偏見。

2014年，亞馬遜的工程師著手開發一款人工智能招聘軟件，利用算法和數據分析來篩選候選人，以此避免人類招聘官身上特有的“感情用事”問題。事與愿違，這款軟件雖避免了“感情用事”問題，卻在“偏見”上犯下更大的錯誤軟件編寫者將人類招聘官的篩選模式寫入算法，現實世界中無意識的偏見也帶進了機器。

隨著智能技術的不斷普及，算法做決策成為趨勢。避免人類社會的偏見映射到算法世界中，是當下數字化生存中的重要命題。

此前，AI&Society專欄發布的《算法偏見：看不見的“裁決者”》試圖剖析算法偏見所帶來的問題，本文著重梳理當前針對算法偏見的一些解決方案。

在機器學習過程中，算法偏見會從三個環節中被滲透：數據集的構成缺乏代表性，工程師制定算法規則時、打標者處理非結構化素材，都有可能混入偏見。

在對500名機器學習領域工程師調查后得出結論：如今機器學習工程師面臨的最大問題之一是他們知道出了一些問題，但是不知道具體是哪里出了問題，也并不知道為什么會出現問題。”前微軟公司執行副總裁沈向洋指出。

由于算法偏見的不可知、不可查，讓反偏見這項工作變得棘手。在現有應對體系下，無論是政策制度、技術突破還是創新型反制，都從不同的角度出發嘗試解決這個已經超越技術的問題。

解決思路一：構建更公正的數據集

不公正的數據集是偏見的土壤如果用于訓練機器學習算法的數據集無法代表客觀現實情況，那么這一算法的應用結果往往也帶有對特定群體的歧視和偏見。因此，算法偏見最直接的解決思路就是將原本不均衡的數據集進行調整。

修正數據比例：利用更公平的數據源確保決策公正性。2018年6月，微軟與專家合作修正和擴展了用于訓練 Face API 的數據集。Face API 是微軟 Azure 中的一個 API，它提供預訓練算法以檢測、識別和分析人臉圖像中的屬性。新數據通過調整膚色、性別和年齡等所占的比例，將膚色較深的男性和女性之間的識別錯誤率降低 20 倍，女性的識別誤差率降低 9 倍。也有公司嘗試通過構建全球社區的方式優化數據集。通過全球社區，大規模地把某個組織可能在尋找的任何信息匯集起來，并以這種廣度和深度相結合的方式進行，這使得引入截然不同的數據來訓練AI系統成為可能，以幫助克服算法偏見等問題。

“大數據”與“小數據”結合：在數據量的基礎上確保精度。數據集不應局限于粗放收集，而在于精準把握。僅僅在數據的量上做文章往往不能帶來更加公正的結果，因為大數據分析側重相關性，導致在推導因果關系時容易出現誤差。引入小數據可以部分解決這個問題。小數據指聚焦于用戶個體的數據形態，它更關注細節，重視差異，能更呈現更加準確的數據，也避免推導因果關系時出現誤差。所以，將信息豐富的大數據與信息精準的小數據相結合可在一種程度上避免誤差。

自主測試數據集：偵測數據集中偏見。麻省理工學院算機科學與人工智能實驗室（簡稱MIT SCAIL）的科學家發表了一篇題為《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure（通過學習潛在結構提示并緩解算法偏見）》的論文，展示了DB-VEA（一種無監督式學習）可以通過重新采樣來自動消除數據偏見的 AI 系統。該模型不僅學習面部特征（如膚色、頭發），還學習諸如性別和年齡等其它特征，所以分類準確率明顯增加，且針對種族和性別的分類偏見明顯下降。

由此可見，構建更加公正的數據集無疑是算法偏見根本性的解決方法之一，也是許多企業、學者努力的方向，并且目前在這一領域的確有所突破。

解決思路二：提升“算法透明度”

盡管算法模型由工程師編寫而成，但很多時候，人類并不明白計算機經歷了怎樣的過程才得出某一特定結果，這就是機器學習中的“算法黑箱”問題。因此，要求企業提高算法模型的透明度，從中找出偏見“病因”，就成為了當下解決“黑箱”困境的途徑之一。無論是通過政策、條款的“他律”，還是企業通過倫理“自律”還是技術探索，在對抗算法偏見時，都持續聚焦于打開“黑箱”。

自律：企業的倫理主張

在過去兩年中，許多大型科技公司都發布了人工智能的應用原則，其中均涉及到偏見治理的部分，可以將這類原則視為科技公司立場的聲明和自律的起點。微軟、谷歌和IBM，均強調算法的透明性和公平性。值得說明的是，微軟設立人工智能與道德標準（AETHER）委員會來落實其原則，并計劃未來推出的每一個人工智能產品都要經過人工智能道德倫理審查。

也有企業采用委員會之外的機制。谷歌推出Model Cards功能也是對提升透明度的回應。Model Cards類似算法說明書，對采用的算法進行解釋，告知其優點和局限性，甚至在不同數據集中的運算結果。

他律：監督過程透明與結果正義

2018年5月25日正式生效的《歐盟一般數據保護條例》（GDPR），2018年8月30日英國政府更新的《數據倫理框架》，要求算法需要具備一定的公開性、透明性與可解釋性。2019年4月10日，美國國會兩院議員提出《算法問責法案》，要求大型科技公司評估其自動決策系統帶來的影響，并消除其中因種族、膚色、宗教、政治信仰、性別或其它特性差異而產生的偏見。

一些公益組織也因意識到算法偏見的危害性，幫助企業建立機制保障算法公正。算法正義聯盟（Algorithm Justice League）將企業應遵守的行為概括和濃縮成了可以簽署的協議，通過問責算法的設計、開發和部署者，在實踐中改善現有算法，并檢查企業提升成果。而這一手段的確為算法糾偏起到了敦促作用：其創始人Joy Buolamwini在評估IBM算法后將結果反饋，并在一天內收到了IBM回應稱會解決這一問題。之后當Buolamwini重新評估該算法時，發現IBM的算法對于少數群體面部識別的準確率有了明顯提升：識別深色男性的準確率從88%躍升至99.4%，深色女性的準確率從65.3%升至83.5%。

“算法透明”不是滿分答案？

然而，通過政策條例和倫理準則提升算法透明度，依然存在一些局限性。首先，要求算法具備可解釋性與可能企業的利益產生強烈沖突。芝加哥大學數據科學與公共政策中心主任 Rayid Ghani認為，簡單地公布一個模型的所有參數并不能提供對其工作機制的解釋在某些情況下，透露太多關于算法工作原理的信息可能會讓不懷好意的人攻擊這個系統。2019年12月的一篇論文也指出，解釋黑箱算法的兩大技術LIME和SHAP的變體有可能遭到黑客入侵，這意味著“AI做出的解釋可能被蓄意篡改，導致人們對模型及其給出的解釋失去信任”。

第二，問責法案的核心在于促成企業自查自糾。但這種自上而下的制度無疑為企業增加了巨額工作量，在一輪輪審查評估中，技術進度將受到掣肘，企業的創新力也會被影響。

解決思路三：技術創新反偏見

當偏見被隱藏在無數代碼中時，工程師們想到用技術本身解決技術問題。這一途徑并非是從偏見來源入手，而是創造性地利用技術手段偵測偏見、解除偏見。

單詞嵌入解決搜索中的性別偏見：微軟研究人員從新聞、網頁數據中的文本，發現詞匯之間在建立關聯時表現出一些明顯特征，例如“sassy（刁蠻）”、“knitting（編織）”這樣的詞更靠近女性，而“hero（英雄）”、“genius（天才）”更靠近男性。之所以會有這種現象，原因在于訓練算法用的基準數據集通常是來自新聞和網頁的數據本身，就存在著由語言習慣造成的“性別偏見”，算法也自然“繼承”了人類對這些詞匯理解的性別差異。微軟提出了一個簡單易行的方案：在單詞嵌入中，刪除區分“他”和“她”的判斷維度，用于降低“偏見的展示”。當然，這樣“簡單粗暴”的方式只能運用在文本搜索領域，在更多實際應用場景下，人工智能的“黑箱”特性使性別或種族與更多更復雜的參數相勾連，因此很難通過直接刪除來完成偏見的剔除。

通過差分測試（differential testing）暴露系統缺陷：哥倫比亞大學的研究者開發了一款名為DeepXplore的軟件，它可以通過“哄騙”系統犯錯，以暴露算法神經網絡中的缺陷。DeepXplore使用了差分測試（differential testing），一種比較多個不同系統并查看它們對應輸出差異的概念：DeepXplore以不同的方式看待事物，如果其他模型都對給定的輸入做出一致的預測，而只有一個模型對此做出了不同的預測，那么這個模型就會被判定有一個漏洞。這一研究為打開黑箱做出了重要的貢獻，因為它可以通過激活幾乎100%的神經網絡，來曝光算法中可能出現的無數個問題。

偏見檢測工具：在2018年 9 月，谷歌推出了新工具 What-If，這是 TensorBoard 中用于檢測偏見的工具。利用該工具，開發者可以通過交互式可視界面和反事實推理探究機器學習模型的特征重要性，找出誤分類原因、確定決策邊界，以及檢測算法公平性等。同樣，IBM也將其偏見檢測工具AI Fairness 360 工具包開源，其中包括超過 30 個公平性指標和 9 個偏差緩解算法，研究人員和開發者可將工具整合至自己的機器學習模型里，檢測并減少可能產生的偏見和歧視。

技術本身被用于打擊偏見，是一種可操作性極強的方法，因為工程師們往往擅長于用技術解決實際問題。但是從目前的成果來看，大多技術突破還僅處于初級階段，停留在檢測偏見，消除偏見可能還待下一階段努力。

寫在最后：

現實社會中的偏見產生的原因盤根錯節，致力于消除偏見的運動綿延不息，也尚未徹底將其消滅。眼下，偏見化身為數字記憶，狡黠又隱蔽地藏身于每一次不經意的雙擊，每一個微小的決策，卻能顯著影響人們被對待的方式。

更公正的數據集，更及時的誤差檢測，更透明的算法過程……科技公司、科研機構、監管部門以及第三方組織的協同努力對算法偏見宣戰。這些舉措未必徹底消除偏見，但能極大避免技術無限放大社會固有的偏見。

相比將算法偏見全然怪罪于技術，更重要的是意識到，技術作為一種工具，應用應有邊界，它滲入日常生活的深度、決策被采納的程度，需審慎決策。

責任編輯：ct