作者：尹參軍 英特爾高級(jí)應(yīng)用工程師

01Telemetry 介紹

Telemetry（遙測(cè)）是指Intel Developer Cloud 幫助開(kāi)發(fā)者收集應(yīng)用程序執(zhí)行時(shí)開(kāi)發(fā)者指定的信息，并通過(guò) UI 的形式展現(xiàn)的功能，該功能可以被啟動(dòng)或關(guān)閉。

Intel Developer Cloud 提供的遙測(cè)指標(biāo)，包括有關(guān)計(jì)算設(shè)備運(yùn)行狀態(tài)和應(yīng)用運(yùn)行數(shù)據(jù)。在IntelDeveloper Cloud 的部分實(shí)例調(diào)用了 Telemetry Dashboard 模塊，我們可以通過(guò)運(yùn)行這塊單元格來(lái)查看邊緣節(jié)點(diǎn)上運(yùn)行應(yīng)用過(guò)程中實(shí)際數(shù)據(jù)，這些數(shù)據(jù)對(duì)于想要為其應(yīng)用程序做出數(shù)據(jù)驅(qū)動(dòng)決策以確定適合其解決方案的最佳硬件的用戶來(lái)說(shuō)是很有參考價(jià)值的。

Telemetry 涉及的內(nèi)容比較多，我們本文僅從 Telemetry 概念，功能做介紹，對(duì)于如何把 Telemetry 功能集成到自己的應(yīng)用中去，我們后面會(huì)再做分析。

02Telemetry 流程

Intel Developer Cloud示例的整體工作流程如下：

圖 1-1 工作流程圖

1．注冊(cè) Intel Developer Cloud

2．啟動(dòng)并打開(kāi) Jupyter Notebook

3．使用指定的目標(biāo)硬件開(kāi)發(fā)模型并將作業(yè)發(fā)送到作業(yè)隊(duì)列

4. 應(yīng)用運(yùn)行時(shí)調(diào)用 Telemetry 接口記錄數(shù)據(jù)

5．指標(biāo)/結(jié)果由 Jupyter Notebook 訪問(wèn)

6．通過(guò) Grafana 儀表板生成遙測(cè)數(shù)據(jù)

Telemetry 數(shù)據(jù)包含在給定作業(yè)運(yùn)行期間的應(yīng)用程序詳細(xì)信息——即：平均推理時(shí)間 (MS)、推理計(jì)數(shù)、目標(biāo)硬件。它還包括以下指標(biāo)：每秒幀數(shù)、推理時(shí)間、推理期間的 CPU/GPU 使用率、平均 CPU/GPU 溫度以及推理期間的內(nèi)存使用率。

03裸機(jī)實(shí)例演示

Step1. 進(jìn)入 Jupyter Lab 環(huán)境

登錄主頁(yè)后，選擇“Bare Metal Deployment”的 “Get Started”，進(jìn)入 Jupyter Notebook 開(kāi)發(fā)環(huán)境。

圖 2-1 點(diǎn)擊進(jìn)入Jupyter Notebook

Step2. 運(yùn)行參考實(shí)例

這次我們并不去細(xì)究 Telemetry 調(diào)用，所以選擇已經(jīng)集成了 Telemetry 的預(yù)置實(shí)例——物體檢測(cè)。我在多個(gè)介紹文章里選擇把這個(gè)預(yù)置實(shí)例拎出來(lái)，主要是因?yàn)樗δ芊浅｝R全，很適合做演示。當(dāng)然平臺(tái)還有很多預(yù)置程序，可以自行去探索，大可不必局限于這個(gè)實(shí)例。

進(jìn)入Jupyter Notebook開(kāi)發(fā)環(huán)境后，依次點(diǎn)擊文件夾：

~/Reference-samples/iot-devcloud/openvino-dev-latest/developer-samples/python/

然后找到 object-detection-python 應(yīng)用，打開(kāi) object_detection_demo.ipynb 文件：

依次運(yùn)行 notebook 上模塊（Cell），需要注意的是要等在邊緣節(jié)點(diǎn)上的應(yīng)用運(yùn)行完畢后，再去點(diǎn)擊 notebook 最后 Telemetry Dashboard 模塊，會(huì)生成進(jìn)入 Telemetry 數(shù)據(jù)頁(yè)面的鏈接地址，點(diǎn)擊即可進(jìn)入數(shù)據(jù)頁(yè)面，觀察邊緣設(shè)備運(yùn)行對(duì)象檢測(cè)應(yīng)用的數(shù)據(jù)指標(biāo)。注意：數(shù)據(jù)收集發(fā)生在應(yīng)用過(guò)程，并隨應(yīng)用終止而結(jié)束，需等收集結(jié)束后才可查看數(shù)據(jù)。

圖 2-2 Submit jobs

圖 2-3 Telemetry Dashboard

圖 2-4 觀察數(shù)據(jù)

04總結(jié)

Telemetry 雖然功能簡(jiǎn)單，卻是十分關(guān)鍵。獲取AI應(yīng)用執(zhí)行過(guò)程中設(shè)備的狀態(tài)，通過(guò)數(shù)據(jù)分析，找到一個(gè)更合理的硬件搭配，發(fā)現(xiàn)我們?cè)O(shè)備資源瓶頸，才能更好地優(yōu)化我們的方案。

上面只是演示了裸機(jī)部署實(shí)例，在 DevCloud 容器化環(huán)境下也是支持 Telemetry 功能的，原理一樣，這里不再贅述，可以自行去探索一下。

審核編輯：湯梓紅