2020年2月19日，歐盟委員會發布《關于人工智能、物聯網、機器人對安全和責任的影響的報告》（Report on the safety and liability implications of Artificial Intelligence， the Internet of Things and robotics），該報告介紹了當前的歐盟產品安全制度，并探討了如何對其進行改進，以應對人工智能（AI）、物聯網（IoT）和機器人技術領域的不斷創新發展。全文包括三大部分，首先概述了現有的安全和責任框架，人工智能、物聯網和機器人技術的特征以及創造的機遇；其次闡述了人工智能、物聯網和機器人技術對安全框架的挑戰及應對；最后闡述了其對責任框架的挑戰及應對。

人工智能、物聯網和機器人技術將為社會創造新的機遇和價值。歐盟委員會理解這些新興數字技術的重要性和潛力，以及在上述領域大量投資的必要性，進而致力于使歐洲獲得人工智能，物聯網和機器人技術的世界先進地位。為了實現這一目標，需要一個清晰，可預測的法律框架來應對技術挑戰。本文將簡要介紹人工智能、物聯網和機器人技術對安全和責任框架的挑戰及應對方式。

一、概述

（一）現有的安全和責任框架

安全和責任框架旨在保障所有產品和服務的安全、可靠、同步運行，并救濟可能出現的損失。歐盟擁有健全的安全和產品責任監管框架，以及完善的安全標準體系，在保障公民在單一市場上的福祉的同時，鼓勵創新和技術應用。隨著人工智能、物聯網和機器人技術正在改變許多產品和服務的特性，此時，建立更加明確清晰的安全和責任框架勢在必行，以期保護消費者和企業的合法權益。

（二）人工智能、物聯網和機器人技術的特征

人工智能、物聯網和機器人技術具有 連接性、自主性、復雜性和數據依賴性。它們幾乎不需要人工管控就能執行任務。配備人工智能的系統還可以通過從經驗中學習來改善自己的性能。此外，隨著投放市場的變化，它們還更加具有 開放性。同時，由于涉及大量數據，導致算法依賴（即隨著算法技術的強大，導致人類越來越依賴算法，以算法的結果為指導標準）以及AI決策的 不透明性，使得對AI產品行為更難預測，對造成損壞的潛在原因更難排查。

（三）人工智能、物聯網和機器人技術創造的機遇

人工智能、物聯網和機器人技術為人類社會創造了許多機遇。例如可以增加用戶對新興技術的信任和社會認可，改善產品、流程和商業模式以及幫助歐洲制造商提高生產效率?？梢蕴岣弋a品的可追溯性，并通過提高產品的安全性從而使產品降低某些風險。除此之外，人工智能還有望幫助人類發明創造，并幫助解決一些世界重大挑戰：包括治療慢性疾病、預測疾病爆發、減少交通事故死亡率、應對氣候變化或預測網絡安全威脅等。此外，新技術可以提高產品的可追溯性，并通過提高產品的安全性從而使產品降低某些風險。

二、人工智能、物聯網和機器人技術對現有安全框架的影響及應對

歐盟委員會關于《建立以人為本的人工智能的信任》（Building Trust in Human-Centric Artificial Intelligence）的文件指出，AI系統應綜合設計安全機制，以確保每一步的安全性都經受得住檢驗，確保所有相關人員的身心安全。

當前的產品安全立法已經支持針對產品使用過程中產生的各種風險進行安全保護。可以通過適當的倡議，對《產品責任指令》（Product Liability Directive）和國家責任制度進行調整，采用更明確的、涵蓋新興數字技術帶來的新風險的條款，以提供更多的法律確定性。

一是新興數字技術的連接性挑戰了傳統安全概念。連接互通或失去連接都可能導致產品受到安全威脅進而影響用戶安全。當前的歐盟產品安全法規（Union product safety legislation）中的產品安全性概念涵蓋了針對產品面臨各種風險的防護，不僅包括機械、化學、電氣風險，還包括網絡風險和與設備斷開連接相關的風險，此外還針對影響用戶安全的網絡威脅制定了強制性規定，這方面的明確法律規定可以考慮納入歐盟相關立法，以便為用戶提供明確的法律參考。

二是AI自主行為有可能違背生產者意圖。AI產品和系統的自主性可能會使機器做出的決策與生產者的最初意圖，以及用戶的期望有所偏差。部分人工智能系統在其生命周期內的自主行為一旦對安全產生影響，便需要進行新的風險評估。此外，歐盟的相關立法應該對制造商規定強制性義務，要求其對用戶提供明確的安全指示和警告。另外，從產品設計到整個人工智能產品生命周期都可能需要人工監督來保障安全。

三是AI系統的類人行為（humanoid）可能會給用戶帶來心理健康風險。因此，規定生產者義務時可以適當考慮到用戶心理的安全風險（例如與類人機器人合作）；立法框架中的產品安全概念應明確涵蓋精神健康風險。對于AI類人機器人的生產商，明確其產品可能對用戶（特別是弱勢用戶，例如被護理的老年人）造成心理損害的承擔義務，可以考慮將其納入歐盟相關立法。

四是數據依賴性可能擴大錯誤數據的安全風險。數據的準確性和相關性可以確保人工智能系統按照生產者意圖做出決定。因此，歐盟產品安全法規可以作出規定，要求在設計階段解決錯誤數據帶來的安全風險。根據產品的用途，生產商應在設計和測試階段預測數據的準確性及其與安全功能的相關性，以確保在整個人工智能產品和系統的使用過程中有良好的機制來保障數據質量。

五是AI產品的不透明性導致難以跟蹤系統的決策過程（即所謂的“算法黑箱”‘black box-effect’ ）。歐盟產品安全法規目前尚未解決基于算法不透明所帶來的日益增長的風險。因此，有必要考慮增加對算法透明性、穩健性和問責制的相關法律規定，在發生事故的情況下，規定算法開發人員必須公開數據集的設計參數（design parameters）和元數據（metadata of datasets）。這對于事后執行機制的完善，建立對新興數字技術的信任尤其重要。

六是獨立軟件（stand-alone software）的更新會對產品進行實質性修改。復雜的AI系統通常包含獨立軟件，如果獨立軟件的更新對產品進行了實質性修改，則整個產品可能會被視為新產品，必須重新評估是否符合相關安全產品法規規定?，F有的歐盟產品安全法應需要對獨立軟件有特定或明確的要求，確保AI產品和系統中的獨立軟件具備安全功能。此外應規定制造商的相關強制性義務，以確保上傳的軟件不會在人工智能產品的生命周期內對安全產生影響。

七是新興數字技術也受復雜的價值鏈（value chains）影響。歐盟產品安全法規考慮了價值鏈的復雜性，并遵循“共同責任”的原則對多家企業施加了義務，明確規定價值鏈中的企業與用戶之間進行合作的條款，尤其是價值鏈中影響產品安全的每個企業（例如軟件生產者）和用戶（通過修改產品）都會承擔相關責任，并為鏈中的下一個行為者提供必要的信息和保護措施，以期為復雜的價值鏈問題提供法律明確性。

三、人工智能、物聯網和機器人技術對現有責任框架的影響及應對

新興數字技術（如人工智能、物聯網和機器人）的特質可能會在某些方面影響責任框架，并可能降低它們的有效性。例如很難將造成的損害追溯到人類的行為導致無法對受害者進行及時合理的補償。此外還需要進一步評估新技術對現有責任框架的挑戰是否會導致法律適用的不確定性，這些可能會阻礙投資，并增加生產者和供應鏈中其他企業（尤其是歐洲中小型企業）的信息和保險成本。

其一，產品、服務和價值鏈的復雜性挑戰傳統生產者概念。在過去的幾十年中，科技發展迅速，隨著產品和服務的日益融合，產品責任值得我們重點關注。以軟件為例，一旦軟件發生變更可能會使產品損害，這最終可能導致產品生產商承擔責任。因此《產品責任指令》可以進一步明確生產者概念，擴大責任范圍，對于軟件或其他數字功能導致產品缺陷從而造成的損失，明確賠償義務和責任范圍。這樣可以更好地根據相關法律規定判斷是否可以將經濟參與者（例如軟件開發人員）視為生產者，從而確定相關責任人。

其二，復雜的物聯網環境使受害者難以追責。人工智能應用程序通常集成在復雜的物聯網環境中，其中許多不同的連接設備和服務相互作用。由于技術的復雜性，受害者很難查找損害來源進而確定責任人并成功索賠。因此可以通過修訂《產品責任指令》，減少受害者的舉證責任，進一步有針對性地統一國家責任規則。例如，歐盟委員會正在征求意見，針對AI應用程序所造成的損害，是否需要通過調整舉證責任，以減少責任認定的復雜性。

其三，連接性和開放性對現有網絡安全義務提出挑戰。網絡安全漏洞可能在產品投入流通的開始就存在，但也可能在產品投入流通的后期出現。目前，因產品網絡安全漏洞而造成的損害是否能得到充分的賠償問題尚沒有明確的法律規定。因此現有的責任框架應該建立明確的網絡安全義務，使運營商明確自身義務從而避免承擔不必要的責任。

其四，自主性和不透明性可能造成索賠困難。自主性會影響產品的安全性，因為自主性可能會大大改變產品的特性，包括其安全性。由于某些AI系統的“算法黑箱”，理解AI所使用的算法和數據需要具有專業分析能力和技術專長。此外，如果沒有潛在責任方的合作，就不可能訪問算法和數據。導致實踐中受害者可能無法提出責任索賠。因此可以重新調整《產品責任指令》目前使用的“投入流通”（putting into circulation）的概念，以考慮到后期產品可能會發生變化，有助于澄清對產品的更改將最終由誰負責。此外針對潛在責任方沒有記錄與評估責任有關的數據，或者不愿意與受害人分享這些數據的行為，歐盟委員會正在探討是否需要調整因果關系和過錯責任，以明確相關責任。

四、結論

人工智能、物聯網和機器人等新興數字技術的出現對產品安全和責任方面提出了新的挑戰。當前的產品安全法規仍有待完善，特別是需要分別對《通用產品安全指令》（General Product Safety Directive）、《機械指令》（Machinery Directive），《無線電設備指令》（the Radio- Equipment Directive）和《新立法框架》（ New Legislative Framework）進行修訂補充。今后將統一開展在該框架內對不同法規進行調整的工作。

當前，在保持技術創新發展的同時，也應保障因AI系統介入受到傷害的人和因傳統技術遭受傷害的人享有同等的保護，這將有助于增強人們對新興數字技術的信任并確保投資穩定性。此外，歐盟還應該通過適當的舉措對《產品責任指令》和國家責任制度進行調整，即考慮人工智能系統應用所帶來的多重風險，以解決現有安全和責任框架的不確定性。

責任編輯：Ct