在本周由民主與技術中心在布魯塞爾舉行的小組討論中，我討論了AI驅動的內容審核技術的功能和局限性。其他小組成員包括現任S&P Global的Armineh Nourbakhsh，她討論了在路透社期間幫助開發的Tracer工具，以及與CDT的EmmaLlansó，討論了她與他人合著的最新論文《混合消息?自動化社交媒體內容分析的局限性。” 歐盟委員會的Prabhat Agarwal提供了有見地的決策者觀點。

平臺和其他Internet參與者使用自動化程序對系統上的非法材料(例如仇恨言論或恐怖分子材料)采取行動。他們還使用相同的技術來強制執行自己要求的用戶自愿服務條款，以維護穩定和有吸引力的在線環境。最后，存在一種中間類型的內容，它不僅不吸引人，本身并不完全違法，而且是有害的并且需要加以控制。虛假信息活動屬于此類。

現在討論自動刪除此材料的原因不僅是技術上的。政策制定者非常關心用于內容審核的系統的有效性，并正在推動平臺做更多的事情。有時，這會溢出到法規要求中。

在 最近公布的歐盟法規草案防止在線恐怖內容就是一個很好的例子。許多關注點集中在其提案上，該提案允許成員國的主管國家主管部門要求平臺在收到通知的一個小時內刪除恐怖分子內容的特定實例。但是，更令人擔憂的是，它要求平臺必須采取“主動措施”，旨在首先防止恐怖分子的資料出現在系統上。由于主動措施是針對恐怖分子內容的自動阻止系統，因此擬議的法規明確規定了對當前電子商務指令的克減，以規定對恐怖分子內容進行監視的職責。更糟的是，如果一家公司收到太多的拆除訂單，并且無法與監管機構就設計改進達成協議。

刪除決定必須使用明確的標準，并且這些標準必須透明，以便用戶可以對超出范圍和可接受的范圍形成期望。此外，需要對各個刪除決定進行說明，以說明觸發刪除的內容的特定功能或方面。最后，由于沒有一個系統能完美無缺，因此需要一種糾正機制，以便在錯誤刪除材料后可以對其進行恢復。作為模型，請看一下美國信貸行業的做法，該行業具有世代相傳的透明，解釋和補救措施。

出于EmmaLlansó在其論文中概述的原因，僅依靠自動化系統進行清除是一個錯誤。錯誤率太高了，始終需要人工檢查，以確保在刪除內容之前充分考慮內容的上下文和含義。