虹膜追蹤(Iris tracking) 可廣泛應用于多個領域，如輔助技術中的免觸摸界面，以及了解除點擊和手勢以外的用戶行為。虹膜追蹤同時也是一項具有挑戰性的計算機視覺問題。眼睛在環境光照條件不同時會經常變化，且眼睛經常會被遮擋住，而當觀察對象轉動頭部或做不同的表情時，其眼睛形狀也可能隨之變化?，F有的解決方法非常依賴專用硬件，通常需要使用昂貴的頭戴式設備或遠程的眼動追蹤器系統。這些方法并不適合計算資源有限的移動設備。

實現眼球重新著色的示例

今年 3 月，我們宣布推出了一個可在瀏覽器中檢測面部特征點的新軟件包。今天，我們很高興可以通過 TensorFlow.js 面部特征點檢測模型將虹膜追蹤添加到此軟件包中。而這要歸功于 MediaPipe Iris 模型。我們已棄用原來的 Facemesh 模型，因此我們之后將為面部特征點檢測模型提供更新。

TensorFlow.js 面部特征點檢測模型
https://www.npmjs.com/package/@tensorflow-models/face-landmarks-detection

MediaPipe Iris 模型
https://google.github.io/mediapipe/solutions/iris

原來的 Facemesh 模型
https://www.npmjs.com/package/@tensorflow-models/facemesh

請注意，虹膜追蹤不會推斷人們正在注視的位置，也不會提供任何形式的身份識別。在我們模型的文檔和隨附的模型卡中，我們詳述了模型的預期用途、限制和公平性屬性（與 Google 的 AI 原則保持一致）。

Google 的 AI 原則
https://www.blog.google/technology/ai/ai-principles/

MediaPipe Iris 模型能夠使用單個 RGB 攝像頭實時追蹤涉及虹膜和瞳孔的特征點，而無需借助專用硬件。模型還能返回眼瞼和眉毛區域的特征點，實現對眨眼等輕微眼球運動的檢測（立即在瀏覽器中嘗鮮）。

嘗鮮

https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html

faceLandmarksDetection簡介

熟悉我們現有 Facemesh 模型的用戶，只需更改少量的代碼，就可以升級到新的 faceLandmarksDetection 模型，詳細的操作說明將在下方列出。faceLandmarksDetection 對 Facemesh 進行了三項重大改進：

虹膜關鍵點檢測

改進了對眼瞼輪廓的檢測

改進了對轉動的面部的檢測

我們在上方的 GIF 中突出顯示了這些改進，該 GIF 展示了對于同一個圖像序列，faceLandmarksDetection 和 Facemesh 所返回的特征點有何不同。

安裝

faceLandmarksDetection 軟件包有兩種安裝方法：

1. 通過腳本標記：

2. 通過 NPM（使用 yarn(https://yarnpkg.com/) 軟件包管理工具）：

$ yarn add @tensorflow-models/face-landmarks-detection@0.0.1 $ yarn add @tensorflow/tfjs@2.6.0

用法

安裝軟件包后，您只需加載模型權重，然后輸入圖像即可開始檢測面部特征點：

// 如果您使用 NPM，需請求加載模型。如果您使用腳本標簽，您可以跳過此步驟，因為 faceLandmarksDetection 在全局范圍內已經可用 const faceLandmarksDetection = require('@tensorflow-models/face-landmarks-detection'); // 加載 faceLandmarksDetection 模型 const model = await faceLandmarksDetection.load( faceLandmarksDetection.SupportedPackages.mediapipeFacemesh); // 將視頻流輸入模型，并從 MediaPipe 計算圖中獲取真檢測到的面部數組。 // 對于 Node 用戶，estimateFaces API 還接受 tf.Tensor3D 或 ImageData 對象。 const video = document.querySelector("video"); const faces = await model.estimateFaces({ input: video });

對 estimateFaces 的輸入可以是視頻、靜態圖像、“tf.Tensor3D”函數，甚至是供 node.js 管道使用的 ImageData 對象。FaceLandmarksDetection 隨后會為輸入的面部返回一組預測對象，其中包括每個面部的相關信息（例如，置信度得分和面部 478 個特征點的位置）。

tf.Tensor3D
https://js.tensorflow.org/api/latest/#tensor3d

ImageData
https://developer.mozilla.org/en-US/docs/Web/API/ImageData

以下是預測對象示例：

{ faceInViewConfidence: 1, boundingBox: { topLeft: [232.28, 145.26], // [x, y] bottomRight: [449.75, 308.36], }, mesh: [ [92.07, 119.49, -17.54], // [x, y, z] [91.97, 102.52, -30.54], ... ], // 每個面部特征值在輸入空間中的 x,y,z 位置 scaledMesh: [ [322.32, 297.58, -17.54], [322.18, 263.95, -30.54] ], // x,y,z 位置的語意分組 annotations: { silhouette: [ [326.19, 124.72, -3.82], [351.06, 126.30, -3.00], ... ], ... } }

請參閱我們的 README，了解更多有關此 API 的詳情。

README
https://github.com/tensorflow/tfjs-models/tree/master/face-landmarks-detection

性能

FaceLandmarksDetection 是輕量級軟件包，其占用空間僅有 3MB 左右，因此非常適合用于在各種移動設備上執行實時推理。在測試時，請注意 TensorFlow.js 還會提供幾種不同的后端供您選擇，包括 WebGL 和帶 XNNPACK 的 WebAssembly (WASM)，可在搭載低端 GPU 的設備上使用。下表顯示的是該軟件包在幾種不同的設備和 TensorFlow.js 后端中的表現：

桌面設備：

移動設備：

XNNPACK
https://github.com/google/XNNPACK

所有基準測試結果均收集自 Chrome 瀏覽器。如需詳細了解如何為 TF.js WebAssembly 后端激活 SIMD，請參閱這篇文章。

展望

TensorFlow.js 和 MediaPipe 團隊都計劃利用經過改進的虹膜坐標，為我們的面部特征點檢測解決方案添加深度預測功能。我們堅信分享代碼可以實現研究重現、快速實驗，并期待看到 MediaPipe Iris 模型在社區中得到更廣泛的使用。

快來嘗鮮！

通過此鏈接在您的網絡瀏覽器中試用我們的新軟件包。我們期待看到您在自己的應用中使用此模型。

此鏈接
https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html

更多信息

點擊此處以詳細了解 MediaPipe Iris 模型：MediaPipe Iris

MediaPipe Iris
https://google.github.io/mediapipe/solutions/iris.html

了解模型的預期用途、限制和公平性屬性：模型卡

模型卡
https://mediapipe.page.link/iris-mc

閱讀我們宣布推出 MediaPipe Iris 的原始 Google AI 文章：推出 MediaPipe Iris: 不受限的虹膜跟蹤和深度估

閱讀我們在 arXiv 上發表的論文：《用于數字木偶的單目視頻實時瞳孔追蹤》Z(Real-time Pupil Tracking from Monocular Video for Digital Puppetry)

用于數字木偶的單目視頻實時瞳孔追蹤
https://arxiv.org/abs/2006.11341

責任編輯：xj

原文標題：推出 MediaPipe Iris，升級瀏覽器中的虹膜追蹤模型！

文章出處：【微信公眾號：TensorFlow】歡迎添加關注！文章轉載請注明出處。