描述

介紹

在這個(gè)項(xiàng)目中，我構(gòu)建了一個(gè)設(shè)備，該設(shè)備可用于從熱像儀讀數(shù)中檢測面部，并可以通過推斷面部皮膚溫度來準(zhǔn)確測量人的溫度。如果檢測到高溫，人們可以使用他們的智能手機(jī)掃描二維碼（顯示在屏幕上）以獲取更多信息。此外，還會(huì)顯示當(dāng)?shù)厍笾鸁峋€電話號(hào)碼，該人可以聯(lián)系以進(jìn)行查詢。

主要特點(diǎn)

• 非接觸式
• 易于大規(guī)模使用、復(fù)制和部署
• 低成本
• 開源
• 用戶隱私
• 對發(fā)展中國家友好
• 準(zhǔn)確性
• 速度

設(shè)備選擇

balenaFin v1.0 套件與 Raspberry PI Compute Module 3+ 一起使用。

?

Gameduino 3 shield 用作顯示器。對于熱像儀 Pimoroni MLX90640 傳感器，其分辨率為 32x24 像素。

?

連接圖可在原理圖部分獲得。

設(shè)備設(shè)置

要使用容器在 balenaFin 上設(shè)置應(yīng)用程序，我們需要注冊并登錄 balenaCloud。登錄后，我們可以通過單擊顯示如下表單的創(chuàng)建應(yīng)用程序按鈕來創(chuàng)建應(yīng)用程序。我們應(yīng)該選擇Balena Fin (CM3)作為Default device type和Starter作為Application type 。

?

單擊創(chuàng)建的應(yīng)用程序鏈接，然后單擊添加設(shè)備按鈕后，我們可以填寫設(shè)備信息。我們應(yīng)該選擇Development作為版本，并選擇帶有 ssid 和密碼的 Wifi + E以太網(wǎng)連接用于家庭/工作路由器。

?

?

我們現(xiàn)在可以通過單擊底部的按鈕來下載 balenaOS。

要將 balenaOS 刷入 balenaFin，我們可以使用 balenaEcther，可以從這里下載https://www.balena.io/etcher。我們應(yīng)該使用 USB 電纜將計(jì)算機(jī)連接到 balenaFIn 并連接電源適配器。

?

刷機(jī)完成后，我們應(yīng)該拔下 USB 線并斷開/重新連接電源適配器。幾分鐘后，我們應(yīng)該能夠在 balenaCloud 儀表板中看到該設(shè)備。

?

MLX90640 傳感器使用 I2C 獲取熱讀數(shù)。為了快速讀取數(shù)據(jù)，我們應(yīng)該在設(shè)備配置中更新將 DT 參數(shù)定義為“i2c_arm=on”、“spi=on”、“audio=on”、“i2c1_baudrate=1000000” 。

部署

我們現(xiàn)在可以將應(yīng)用程序容器部署到設(shè)備上。我們將啟用本地模式，如下所示，以便我們可以使用 balena CLI（一個(gè)命令行工具）與 balenaCloud 交互以進(jìn)行快速開發(fā)和部署。balena CLI 安裝說明可以在這里找到https://github.com/balena-io/balena-cli/blob/master/INSTALL.md 。

?

以下是部署命令。

$ balena login
$ git clone https://github.com/metanav/thermal_face_detection
$ cd thermal_face_detection
$ sudo balena scan
Reporting scan results
-
host: df0925a.local

$ balena push df0925a.local

Dockerfile 中提到了所有先決條件和依賴項(xiàng)，該文件可以在上面克隆的存儲(chǔ)庫的根目錄中找到。一切都會(huì)自動(dòng)安裝并部署到目標(biāo)設(shè)備。

人臉檢測的模型選擇

公共領(lǐng)域可用的深度學(xué)習(xí)模型主要用于照相機(jī)拍攝的圖像。通常他們需要配備顯卡或神經(jīng)網(wǎng)絡(luò)加速器的高端計(jì)算機(jī)才能以高幀速率運(yùn)行。對于這個(gè)項(xiàng)目，我想保持低成本，但仍然開發(fā)一種可以以相當(dāng)快的速度準(zhǔn)確使用的設(shè)備。為此目的，使用了 BlazeFace 模型，該模型在低分辨率熱像儀圖像中檢測人臉時(shí)表現(xiàn)出相當(dāng)高的準(zhǔn)確性。該模型與默認(rèn)的訓(xùn)練權(quán)重一起使用，無需對熱圖像進(jìn)行任何遷移學(xué)習(xí)。

應(yīng)用程序開發(fā)

主應(yīng)用程序有兩個(gè)部分。第一部分是用 Python 3 編寫的，主要是關(guān)于從熱像儀獲取數(shù)據(jù)并進(jìn)行人臉檢測和溫度測量。第二部分是用 C 語言編寫的，主要用于處理 Gameduino 3 TFT 顯示器以顯示熱圖像和信息。該代碼可在代碼部分中提到的 Github 存儲(chǔ)庫中獲得。

在設(shè)備上進(jìn)行推理

BlazeFace TensorFlow Lite 模型是從https://github.com/google/mediapipe 下載的。TensorFlow Lite Runtime Python API 用于在設(shè)備上運(yùn)行推理。

演示

人臉檢測（常溫）

帶口罩的人臉檢測（常溫）

人臉檢測（高溫）

共同利益的用例

它是一種易于使用的低功耗設(shè)備，可以安全使用，因?yàn)樗胁僮鞫际欠墙佑|式和離線的。該設(shè)備不使用照相機(jī)來檢測人臉，而是使用熱傳感器生成熱圖像并使用現(xiàn)成的本地部署深度學(xué)習(xí)模型檢測人臉。使用此設(shè)備沒有隱私威脅，因?yàn)樗粫?huì)捕獲用戶的任何真實(shí)圖像，也不會(huì)將任何數(shù)據(jù)發(fā)送到云或任何其他位置。互聯(lián)網(wǎng)連接僅用于部署和更新。該設(shè)備可以安裝在商場、學(xué)校和辦公室。此外，在發(fā)展中國家，該設(shè)備可用于電力和互聯(lián)網(wǎng)稀缺的貧困地區(qū)。在這些區(qū)域，它可以使用電池進(jìn)行操作，并且可以在安裝前進(jìn)行部署。

改進(jìn)范圍

通過使用熱像儀圖像進(jìn)行遷移學(xué)習(xí)，可以進(jìn)一步提高人臉檢測的準(zhǔn)確性。目前該設(shè)備只顯示英文信息，可以支持多國語言。幫助熱線電話號(hào)碼和二維碼 URL 是針對我所在地區(qū)的硬編碼，但它可以基于設(shè)備的地理位置，并且可以使用balenaCloud 中的設(shè)備環(huán)境變量進(jìn)行設(shè)置。

所有說明都可以在代碼部分提到的 Github 存儲(chǔ)庫中找到。我要感謝Hackster.io和本次比賽的所有贊助商，感謝 Balena 提供 balenaFin 開發(fā)工具包。