編者按：據(jù)路透社今日報道，亞馬遜機器學習專家發(fā)現(xiàn)，他們的新型招聘工具并不歡迎女性。以下是論智對報道的編譯。

從2014年開始，亞馬遜的機器學習小組就著手搭建一款能自動查看申請者簡歷的程序，目的是快速找到他們想要的人才。自動化是亞馬遜電子商務的主要關注點，這在倉儲物流和價格定位中都有使用。而公司目前正在試驗階段的招聘工具通過人工智能技術，將候選人從1到5進行評分，有人說這有點像商品的使用評價。

“人人都想得到這份工作。亞馬遜想讓這個模型從100份簡歷中自動篩選出top 5，然后直接聘用這些即可，”小組其中的一人說道。

但是到2015年，亞馬遜發(fā)現(xiàn)這一新系統(tǒng)在評估軟件開發(fā)職位和其他技術崗位時，在性別上有不公正之處。

這是由于亞馬遜的計算機模型在訓練時是通過觀察過去十年申請者的簡歷信息，其中大多數(shù)是男性，這也反映了男性在技術領域中占有相當大的比例。

這樣一來，亞馬遜的招聘系統(tǒng)就告訴自己，男性候選人更受人青睞。于是它會降低含有“女性”字眼的簡歷分數(shù)，如果是在女子大學畢業(yè)，也會降低評分。

亞馬遜針對這些問題進行了修改，使其更加中立。但是這并不能保證機器會用其他方法體現(xiàn)出它的不公平性。最終，去年年初，該小組被解散。招聘者會在面試時參考該工具的意見，但不會完全依賴它的答案。

男性化語言

隨著大量低成本計算力的出現(xiàn)，機器學習受到很多公司的追捧，亞馬遜也因此開始大量招聘。從2015年6月開始，總部員工增加了兩倍，達到575700人。于是，亞馬遜在愛丁堡工程中心成立了一個小組，目的就是開發(fā)人工智能，從網(wǎng)絡上尋找值得招募的人。

該小組創(chuàng)建了500個計算機模型，專注于各地區(qū)各崗位的招聘，他們根據(jù)過去候選人的簡歷，教模型辨認大約5萬個條目。算法并不看重IT職位招聘時常見的技能，例如會寫多少種代碼。相反，算法更喜歡看到男性簡歷中出現(xiàn)的某些動詞，例如“執(zhí)行”和“捕捉到”等等。

性別歧視并不是唯一的問題，模型的數(shù)據(jù)有時會帶來錯誤判斷。有時，不合格的候選人通常會被推薦到其他各種崗位，隨著這些結果越來越離譜，亞馬遜關閉了該項目。

阻礙還是動力？

不過，其他公司仍然在AI招聘的路上前進著。

初創(chuàng)公司HireVue的老板Kevin Parker表示，自動化招聘可以幫助雇主跳出傳統(tǒng)的招聘平臺，他的公司通過分析候選人在視頻面試中的話語和面部表情來降低對簡歷的依賴。

高盛公司也創(chuàng)建了自己的簡歷分析工具，目的是選出最契合公司的候選人。而世界最大的職業(yè)招聘網(wǎng)站LinkedIn可以根據(jù)用戶在網(wǎng)站上發(fā)布的信息，用算法生產排名提供給招聘者。LinkedIn人才招聘部門的副總裁John Jersin說，這項服務并不是要代替?zhèn)鹘y(tǒng)招聘，“我當然不會相信現(xiàn)在任何的AI系統(tǒng)做出的招聘決策。”

有些從業(yè)者說他們擔心AI的透明度，美國公民自由聯(lián)盟目前正考慮是否可以設立法律，允許受害者可以對使用帶有歧視算法的招聘者提起訴訟。該聯(lián)盟的一位律師Rachel Goodman表示：“我們正密切關注算法的公平性。”

但是，Goodman和其他有AI背景的人認為，想要以上述名義起訴招聘者可能很難，因為候選人可能永遠不會知道在招聘時用了哪些信息。

至于亞馬遜，公司目前從失敗中學到了相關經驗，只用簡單的去重技術，將數(shù)據(jù)庫中重復的簡歷篩選掉，這也是最常見的技術之一。另外有消息稱，愛丁堡目前成立了一個新小組，他們正試著開始第二次自動化招聘的項目，但更關注的是多樣性。

后記

對于亞馬遜模型偏差的問題，在微博上也引起了討論。網(wǎng)友@HammerSh4w提問：

“由群體特征學習，將該知識應用到個體，模型本身會引入偏差，這個偏差能否被認為是偏見，是不是可以通過棄用一些敏感的特征來緩解偏見？”

我們熟知的@愛可可-愛生活老師針對這一觀點表示：

“有一定道理，不過敏感特征降權相當于用另一種手工偏差抵消數(shù)據(jù)偏差，其實很難把握；問題的根本，在于學到的數(shù)據(jù)模式是否能支持特定的決策目標。”

AI最初就像嬰兒，它不帶任何觀點或偏見。它之所以變得“有偏見”，是因為教它的老師有偏見。