2022年3月16日，美國國家標準與技術研究院（NIST）發布了《邁向識別和管理人工智能偏見的標準》（以下簡稱《標準》），《標準》的目的是分析人工智能偏見這一具有挑戰性的領域中有爭議的問題，并為制定識別和管理人工智能偏見的詳細社會技術指導提供路線圖上的第一步。NIST表示，《標準》是支持可信賴和負責任的人工智能開發的一部分，為NIST正在開發的AI風險管理框架（AI RMF）提供了相關的指導。

《標準》重點提出三部分內容：

描述了人工智能中偏見的利害關系和挑戰，并舉例說明了偏見破壞公眾信任的原因和方式;

識別人工智能中的三類偏見（即系統性，統計性和人類偏見），并描述它們對社會產生負面影響的方式;

描述了減輕人工智能偏見的三大挑戰，包括數據集，測試和評估、驗證和核實以及人為因素，并對解決這些問題給出建議。

如何理解人工智能偏見

人工智能風險管理旨在最大限度地減少人工智能的負面影響，包括對公民自由和權利的威脅等。而在談論人工智能風險時，“偏見”是一個重要話題。雖然人工智能偏見并不總是負面的，如通過自動化系統決策為公眾提供生活便利。然而，人工智能模型和系統中表現出的某些偏見也可能對個人、組織和社會造成永久化和放大的負面影響。

《標準》指出，偏見與社會透明度和公平性息息相關。對于大多數人來說，算法很少透明，因為非技術受眾很難了解和理解公司用于設計、開發和部署的代碼及用于決策的復雜人工智能網絡。此外，很多人受到人工智能技術和系統的困擾，如未經本人的同意，在申請大學、租賃房屋甚至互聯網搜索時，個人數據被人工智能技術和系統輸入等。這些情形都導致個人對“失控”和“失去隱私”的恐懼，以及對人工智能的信任下降。

人工智能偏見的類別

《標準》中，人工智能分為系統性偏見、統計性偏見和人類偏見三大類別，具體來看：

系統性偏見

系統性偏見，也被稱為機構或歷史偏見，是由特定機構的程序和做法造成，導致某些社會群體處于有利地位或受到青睞，而其他社會群體則處于不利地位或受到貶低。它們普遍存在于人工智能使用的數據，人工智能生命周期的流程中以及文化和社會中的機構規范、實踐和流程中。這不一定是有意識偏見或歧視，而是大多數人遵循現有規則或規范造成的。最為典型的是種族主義和性別歧視，在日常基礎設施中未能考慮殘疾人的無障礙環境等。

統計性偏見

統計性偏見來自于系統性錯誤而非隨機性錯誤，在沒有偏見、偏袒或歧視性意圖的情況下也會發生。在人工智能系統中，這些偏見存在于開發人工智能應用的數據集和算法過程中，當算法在一種類型的數據上訓練而不能超越這些數據進行推斷時，偏見就會出現。

人類偏見

人類偏見是人類思維的基本部分，反映了人類思維中的系統性錯誤。此類偏見往往是隱性的，并與個人或群體通過自動化信息進行決策有關，廣泛存在于整個人工智能生命周期的機構、團體和個人決策過程中，以及在人工智能應用部署后的使用過程中。

人工智能偏見對社會的影響

由于人工智能技術與社會緊密聯系，其相比傳統技術對社會的影響更大。各個部門都普遍部署人工智能的應用程序用于決策支持，從而代替人類做出具有高度影響力的決策。但目前，對這些應用程序的負面影響和其他結果進行驗證的方法并不精確，也不全面。

雖然機器學習（ML）系統能夠對復雜的現象進行建模，但其是否能夠按照人類的社會價值觀進行學習和操作，仍值得關注。系統性偏見（如種族偏見），可以通過訓練中使用的數據，機構政策以及基礎實踐（如何被委托、開發、部署和使用），在人工智能模型中比較常見。而統計性偏見、人類偏見普遍存在于工程和建模過程中，只有當正確驗證模型性能的不確定性時，這些偏見才會顯現。

可以發現，開發和運用人工智能的團隊往往對技術的使用方式和人類的監督有不準確的預期，或應用結果不符合設計原意，也會導致人工智能偏見。這些偏見放大和強化了歧視，從而對個人和社會產生負面影響，并且其速度和規模遠遠超過了傳統的歧視性做法（如種族歧視、性別歧視、年齡歧視或能力歧視）。

減輕人工智能偏見面臨的挑戰和建議

《標準》探索了克服人工智能偏見的措施和治理過程，描述了其過程中的三大挑戰，包括數據集、測試和評估以及人為因素，并為解決這些問題提出建議。

1、數據集挑戰

人工智能的設計和開發實踐依賴于大規模的數據集來驅動ML過程。一方面，研究人員、開發人員和從業人員更關注數據集的可用性或可獲得性，而不是最合適性。因此，這些過程中使用的數據可能不具有代表性。而這些數據卻經常在訓練ML應用中使用。另一方面，當對一個過程或現象的社會技術背景沒有足夠的了解或認識時，這些在ML應用程序中所使用的屬性，也可能不適用于對不同社會群體或文化的分析。

建議：開發和部署人工智能系統需要注意的關鍵問題：是否存在適合或適用于人工智能系統所開發和部署的各種應用、工作和任務的數據集？不僅ML系統的預測行為是由數據決定的，數據也在很大程度上決定了機器學習任務本身。所以，解決數據集的適用性問題需要注意三個因素：

統計因素：解決人工智能偏見的一個主要趨勢是關注建模過程中使用的數據集的平衡統計代表性。使用統計現象分析可檢測數據集中的偏見，有時有助于克服人工智能偏見。

社會技術因素：在ML應用中，使用數據集必須進行調整，要全面考慮其所處環境的全部社會技術因素。

人類和數據集的相互作用因素：在建立人工智能應用基礎模型時，數據集中存在的系統性偏見是由人工智能設計和開發團隊關于使用哪些數據集的決定和假設所造成。

2、TEVV（測試和評估、驗證和核實）挑戰

TEVV（測試和評估、驗證和核實）是減輕人工智能偏見所面臨的另一個挑戰。作為一種工程結構，TEVV旨在事后檢測和修復問題，而并不等同于科學方法的全面應用。一方面，結構有效性在人工智能系統開發中尤為重要，另一方面，在許多人工智能項目中，結構化數據收集、最小化確認偏差的可靠實驗設計技術等都在被淡化，這一變化也導致人工智能偏見的增長。

建議：為了減輕認知和不確定性帶來的風險，模型開發人員應該與部署它們的組織密切合作。團隊應努力確保定期更新模型，并在更新的代表性數據集上測試和重新校準模型參數以滿足業務目標，同時保持在預期的性能目標和可接受的偏差水平內。

3、人為因素挑戰

隨著ML算法在準確性和精確性方面的發展，計算系統已經轉變為由人類提供有限輸入的自動決策。算法決策系統的發展和普及的同時，由于算法模型會產生和放大不公正結果，公眾對人工智能的信任感也隨之下降。嵌入在算法模型中的系統性偏見也將造成災難性的傷害。在沒有評估和管理這些風險的情況下，貿然部署人工智能模型和系統的組織不僅會傷害其用戶，還會損害其聲譽。

建議：制定算法影響評估，提供一個高層次的結構，使組織能夠確定每個算法的風險。

組織多方利益相關者參與：讓各種利益相關者參與進來，利用他們的各種經驗來應對核心挑戰，即在人工智能系統將部署的特定環境中識別有害結果和環境變化。

保證多元化、公平與包容：使能夠反映各種背景、觀點和專業知識的不同個人群體發揮作用，這也有助于拓寬人工智能系統設計師和工程師的視野。

改進實踐：采用生命周期方法確定一些關鍵點，在這些關鍵點上，完善的指導、擔保和治理流程可以幫助多利益相關者協作整合流程，減少偏見。

優化人類與人工智能配置：利用人和機器智能來創建機器學習模型——“人在回路”（人們參與到一個良性循環中，在這個循環中他們訓練、調整和測試特定的算法）的方法，考慮到廣泛的社會技術因素，可以優化人類與人工智能的配置。

提高制度和程序透明度：人工智能系統需要更多的解釋和可以很好地被解釋，可以使用數據表和模型卡等工具。

讓人類成為人工智能設計的中心：以人為中心的設計（HCD）可開發可靠、安全和值得信賴的人工智能系統，有助于提高用戶有效使用產品的能力。

人工智能偏見的治理

人工智能偏見的治理過程幾乎影響到管理過程的各個方面，不僅要關注技術工件（如人工智能系統），還要關注組織流程和文化能力，這些都直接影響到參與培訓、部署和監測此類系統的群體。

《標準》指出，對于人工智能偏見治理可從八方面著手：

監測：人工智能系統一旦部署，其性能可能與預期不同，導致不同群體受到不同的待遇?？刂圃擄L險的關鍵措施是部署額外的系統來監測潛在的偏見問題。

追訴渠道：系統終端用戶可以通過反饋渠道標記出不正確或潛在危害結果，并對錯誤或危害進行追訴。

政策和程序：政策和程序可以實現統一的開發和測試實踐，這有助于確保人工智能系統結果的可重復性，相關風險可以得到統一的映射、測量和管理。

文本標準化：明確的文件可以幫助系統地執行政策和程序，使組織的偏見管理過程在每個階段的實施和記錄標準化。文件還可以作為重要信息的單一儲存庫，不僅支持對人工智能系統和相關業務流程的內部監督，還可以加強系統維護，并作為糾正或調試處理活動的寶貴資源。

問責制：問責制需要對人工智能系統本身的作用進行明確評估，其任務應嵌入到參與培訓和部署人工智能系統的各個團隊中，不能由一個人承擔。

文化與實踐：為了使治理有效，人工智能需要嵌入到一個組織的整個文化中來強調信仰、規范和價值觀。風險管理文化和實踐可以作為一種強大的技術，從社會技術系統的角度出發來識別整個人工智能生命周期中的偏見。

風險緩解、風險分類和激勵結構：有效的人工智能偏見治理重點在于明確承認減輕風險，而不是避免風險。這有助于確保偏見風險在實踐中得到迅速減輕并被明確分類，從而使組織能夠將有限的資源集中在最重要的偏見風險上。調整各團隊的薪酬和晉升激勵機制，從而使風險緩解機制的參與者真正被激勵使用健全的開發方法，進行嚴格測試和徹底審計。

信息共享：共享網絡威脅信息有助于組織改善自身和其他組織的安全態勢。確定內部機制，讓團隊分享有關人工智能的偏見事件或有害影響信息，有助于提升對人工智能風險的重視，并為團隊提供信息以避免過去失敗的設計。

于Imagination IP的產品已在全球數十億人的電話、汽車、家庭和工作場所中使用。獲取更多物聯網、智能穿戴、通信、汽車電子、圖形圖像開發等前沿技術信息，歡迎關注 Imagination Tech！

審核編輯 ：李倩