人工智能是引領新一輪科技革命和產業變革的顛覆性技術，在為人類創造巨大福祉的同時，也會催生各類全新的安全風險。為科學預判和管控人工智能發展的安全風險，按照循序漸進、分類施策的原則，每年聚焦若干關鍵問題的治理，提出人工智能安全與法治導則。2019年度重點是算法安全、數據安全、知識產權、社會就業和法律責任。

一、人工智能算法安全

（一）風險挑戰

人工智能算法安全風險是指由于人工智能算法設計、程序運行導致的各類安全風險，主要包括技術缺陷、設計偏見和算法黑箱等風險。

1．技術缺陷。由于算法模型存在技術性缺陷，導致人工智能系統無法正常運行，或受到外部網絡攻擊和惡意樣本侵擾，產生與預期不符乃至危害性結果，造成人員和財產損失。

2．設計偏見。由于算法設計者自身存在價值偏見，導致算法設計無法實現設計者既定的向善目標，產生與預期不符以及危害性社會結果，例如算法歧視等。

3．算法黑箱。人工智能技術趨向自主學習和持續進化，不僅外部用戶難以了解算法的運行邏輯，開發者自身也越來越難以全面解釋算法的決策機制，算法的“黑箱化”將導致技術失控以及其他危害性結果。

（二）法治應對

1．開展算法安全的技術評估。通過政策和法律引導，鼓勵人工智能安全技術研發，構建人工智能軟件質量評估體系，針對人工智能重點應用，開展人工智能算法安全的評估檢測。

2．推動技術倫理的算法導入。法律要強化基于人類倫理規范的算法模型設計，要求人工智能開發者設計高可解釋性的智能系統，促進人工智能算法邏輯與人類社會價值規范的持續校準。

3．加強智能算法的透明監督。創新算法監管模式，建立多層級監管體系，政府須依法開展人工智能的產品和服務監管，人工智能企業、行業應建立相應的算法監管體制，保持與政府監管的協同。

二、人工智能數據安全

（一）風險挑戰

人工智能數據安全風險是指人工智能系統在數據采集、分析及流轉過程中產生的各類安全風險，主要包括數據隱私、數據控制和數據質量等風險。

1．數據隱私。數據隱私風險包括在采集階段自動化獲取用戶個人敏感信息，在分析階段基于用戶非敏感數據智能挖掘得出個人敏感信息并加以利用，在流轉階段未經用戶許可將用戶數據傳遞給第三方機構或其他國家（區域）。

2．數據保護。數據保護風險是指人工智能系統數據資源遭遇攻擊、竊取、篡改等，導致數據發生泄露、系統無法使用甚至導致功能失控，數據是人工智能產品正常穩定運行的基礎，且涉及用戶隱私、商業秘密乃至國家機密，數據保護挑戰尤為艱巨。

3．數據質量。人工智能的研發和應用對數據質量依賴度極高。數據質量不足將對人工智能系統帶來重大風險，主要包括數據集規模量、多樣性等不足以及數據集遭污染等原因導致的安全風險。

（二）法治應對

1．加強數據安全立法和執法。針對個人數據和重要數據開展系統立法和嚴格執法，結合人工智能重點應用場景，制定數據安全分類分級管理體系和標準，對采集和使用敏感個人數據的人工智能企業/行業須加強法律和行政監管。

2．豐富人工智能技術發展路徑。當前人工智能主流技術路徑是基于海量數據的深度學習，未來須通過政策手段支持多樣化的人工智能技術發展，例如基于小數據的人工智能算法技術等。

3．提升人工智能數據資源管理水平。促進公共部門和私營部門數據資源共享和流通，分行業構建人工智能高質量訓練數據集，降低人工智能數據獲取成本，提高人工智能行業的數據質量。

三、人工智能知識產權

人工智能知識產權是指利用人工智能進行文學、藝術等作品創作而產生的知識產權問題，人工智能知識產權問題包括算法知識產權、數據知識產權和創作物知識產權。

（一）風險挑戰

1．算法知識產權。人工智能系統具有自主學習、不可解釋、自動編碼等特點，現有的軟件著作權靜態保護模式存在不足，侵權者可以采用輕易繞過算法的代碼表現形式實現功能模仿甚至超越，現有的軟件專利保護模式由于門檻較高且周期較長往往無法適應人工智能商業創新需要。

2．數據知識產權。人工智能系統主要通過自動化方式處理各類數據資源，著作權保護通過數據庫內容選擇或編排而體現其“獨創性”，人工智能數據資源采集和加工方式導致數據知識產權界定具有極大的不確定性。

3．創作物知識產權。人工智能技術發展導致對創作物“獨創性”界定日益模糊，以人類智力勞動為中心的傳統著作權保護模式面臨困境，引發人工智能系統之間、人工智能系統與人類創作之間的侵權難以認定等問題。

（二）法治應對

1．加強人工智能算法的專利保護。擴大專利法對于人工智能算法保護范圍，針對人工智能算法專利申請制定相關配套制度，利用技術手段提高人工智能算法專利審查，提高人工智能算法專利審核效率。

2．鼓勵人工智能數據開放性保護。明確人工智能的數據權屬，對企業數據資源進行知識產權認定，在此基礎上鼓勵企業加強人工智能數據資源的流通共享，推進人工智能數據集的建設。

3．促進人工智能作品的知識產權化。依據著作權法等對人工智能創作物“獨創性”進行科學辨別，對于符合條件的創作物應予以知識產權保護，對人工智能創作過程進行分解進而確認知識產權的歸屬及其權益分配。

四、人工智能社會就業問題

人工智能社會就業問題是指人工智能技術發展對現有社會生產結構及分配制度帶來的風險挑戰。主要包括結構性失業、收入差距加大等問題。

（一）風險挑戰

1．結構性失業。人工智能技術廣泛應用將導致傳統行業面臨重構、融合，人工智能必將取代眾多傳統職業，不僅包括簡單重復和流程化的勞動崗位，也包括部分專業技能性知識工作崗位。

2、新興勞動力不足。人工智能技術在替代傳統職業的同時，也在創造一系列全新職業崗位，尤其是對勞動力的創新、創意、創業能力提出更高要求，現有社會勞動力構成和教育體系尚難以適應這一變革，新興職業勞動力面臨短缺。

3．收入差距加大。人工智能技術驅動全社會生產力發生飛躍，社會財富向少數具有人工智能技術優勢的行業和企業積聚，對不同行業、不同企業、不同崗位的分配關系構成重大影響，勞動者的收入分配差距也將因此加大。

（二）法治應對

1．加強人工智能勞動力替代監管。加強人工智能技術應用的就業風險評估，出臺法律法規，對面臨人工智能技術替代的行業和職業進行監管和救助，保障勞動者尤其是中低端收入階層的工作機會和權利，有序推動人工智能勞動力替代和職業轉型，防范社會大規模失業風險。

2．加快人工智能新興勞動力培養。面向人工智能發展趨勢，科學規劃基礎教育和職業教育體系，加大人工智能各類人才的培養，全面支持人工智能職業轉型社會機構發展。

3．面向人工智能開展收入調節。兼顧效率與公平，在鼓勵企業通過人工智能創新獲取高額利潤的同時，加強人工智能時代社會收入分配調整，對遭遇人工智能沖擊的傳統行業勞動力進行保護和救助，提高社會二次分配的合理性與精準性。

五、人工智能產品法律責任問題

人工智能產品法律責任是指人工智能產品或服務在應用過程中，引發了侵權或犯罪等行為后法律責任的認定和承擔問題，主要包括：人工智能法律主體模糊、人工智能責任界定復雜。

（一）風險挑戰

1．人工智能產品法律主體多元模糊。人工智能產品的法律主體涉及人工智能產品設計者、生產者、運營者、使用者等多元主體，人工智能產品的法律主體難以確定。

2．人工智能產品侵權責任錯綜復雜。包括由于人工智能的控制者、使用者操作不當，造成人工智能侵權；人工智能的控制者、使用者故意利用人工智能進行侵權行為；由于黑客等外部技術侵入原因導致侵權；未來人工智能系統具有“自我學習”和“自主意識”導致的侵權行為等。

（二）法治應對

1．明確責任主體。弱人工智能時代，人工智能產品本身不具有獨立的法律主體資格，人工智能產品的定位是“工具”，人工智能設計者、生產者、運營者、使用者承擔法律主體責任。

2．科學分配人工智能侵權的法律責任。根據過錯責任原則，由產品設計者、生產者、運營者、使用者按照過錯程度分擔；由于外部技術侵入造成的侵權，則應追究外部技術侵入者的責任。對于因技術限制，而使人工智能產品開發之初無法預測到的危險，造成侵權后果的，應當引入保險機制等方式進行責任分擔。