歡迎關(guān)注虹科，為您提供最新資訊！

導(dǎo)讀

虹科CSS的CANedge數(shù)據(jù)記錄儀專為汽車和工業(yè)領(lǐng)域的工程師設(shè)計，旨在通過監(jiān)控現(xiàn)場資產(chǎn)來支持研發(fā)、診斷和預(yù)測性維護。為了將這些數(shù)據(jù)轉(zhuǎn)化為直觀的可視化信息，工程師們通常依賴于Grafana儀表板。本文將深入探討實現(xiàn)這一目標所涉及的工作流程，并展示如何通過Grafana-Athena集成技術(shù)，巧妙應(yīng)對用戶在數(shù)據(jù)可視化過程中遇到的一系列挑戰(zhàn)。

Grafana儀表板

01 亟待解決的五大難題

1. 如何解碼原始二進制日志文件？

虹科CANedge數(shù)據(jù)記錄儀以MDF（*.MF4）格式記錄原始CAN數(shù)據(jù)，包括帶有時間戳的“CAN ID”和“數(shù)據(jù)字節(jié)”。為了使這些數(shù)據(jù)對用戶可讀，需要通過軟件/API工具和CAN（DBC）數(shù)據(jù)庫文件進行解碼。

2. 如何實現(xiàn)跨TB數(shù)據(jù)的低成本可視化？

一臺虹科CANedge物聯(lián)網(wǎng)設(shè)備每月可能產(chǎn)生超過50GB的數(shù)據(jù)，甚至累積至TB級別，而將這些數(shù)據(jù)存儲在基于云的時間序列數(shù)據(jù)庫中的成本過高。同時，數(shù)據(jù)查詢的速度也應(yīng)相當快，以便用戶能夠有效地處理數(shù)據(jù)。

3. 如何保留原始報文時間戳？

CAN網(wǎng)絡(luò)中的每個報文都有其獨特的時間光柵，集成方案必須保留這些原始時間戳，以便用戶能夠查看從秒到月的數(shù)據(jù)。

4. 如何讓用戶自主部署？

虹科CSS不提供服務(wù)器或服務(wù)托管，而是讓用戶自行設(shè)置。這要求部署過程簡單，以適應(yīng)對數(shù)據(jù)敏感性有嚴格要求的用戶。

5. 如何保持不可知性？

虹科CANedge設(shè)備支持多種數(shù)據(jù)收集方式，例如，用戶可使用虹科CANedge1將數(shù)據(jù)記錄到SD卡中，以便離線使用，也可以使用虹科CANedge2/CANedge3通過 WiFi/LTE（4G）將數(shù)據(jù)收集到S3服務(wù)器中。因此，集成方案需要能夠適應(yīng)這些不同的后端存儲選項。

02 虹科Grafana-Athena集成解決方案

為了應(yīng)對上述集成挑戰(zhàn)，虹科CSS推出了“Grafana-Athena”儀表板集成方案，提供了一種高效且用戶友好的數(shù)據(jù)可視化方案。

集成方案的設(shè)置步驟

■ 數(shù)據(jù)上傳 ：虹科CANedge記錄儀將CAN/LIN數(shù)據(jù)上傳至AWS S3的“input bucket”。

■ 觸發(fā)Lambda函數(shù) ：日志文件上傳后，自動觸發(fā)一個Lambda函數(shù)。

■ ** 數(shù)據(jù)解碼** ：Lambda函數(shù)使用DBC文件將原始數(shù)據(jù)解碼為Parquet格式。

■ 數(shù)據(jù)存儲 ：解碼后的Parquet文件被寫入AWS S3的“output bucket”。

■ 數(shù)據(jù)可視化 ：Grafana通過亞馬遜Athena插件，將“data lake”中的數(shù)據(jù)進行可視化。

■ 快速部署 ：整個設(shè)置可以在15分鐘內(nèi)自動部署完成，無需任何編碼工作。

虹科Grafana-Athena的部署過程完全由用戶自主完成， 即使是沒有Grafana或AWS使用經(jīng)驗的用戶也能輕松上手 。虹科CSS為此提供了即插即用的AWS CloudFormation堆棧，以及詳細的部署指導(dǎo)。

用戶只需將DBC文件和Lambda函數(shù)壓縮包上傳至S3 input bucket，然后使用CloudFormation堆棧模板部署Lambda函數(shù)、S3 input bucket、Athena和Glue。部署完成后，用戶將獲得必要的憑據(jù)，以便在Grafana云數(shù)據(jù)源設(shè)置中驗證Athena的憑證。無需擔心Parquet數(shù)據(jù)湖的構(gòu)建細節(jié)，因為這一切都由虹科CSS Electronics預(yù)制的AWS Lambda函數(shù)自動完成，同時確保數(shù)據(jù)湖按日期進行最佳分區(qū)。

03 五大顯著優(yōu)勢

高性能與低成本查詢

傳統(tǒng)的Grafana-InfluxDB集成在處理大規(guī)模數(shù)據(jù)時成本較高。相比之下，虹科Grafana-Athena集成通過AWS S3存儲和Athena的無服務(wù)器查詢， 顯著降低了成本 ，同時保持了高效的查詢性能。

無需編碼，15分鐘內(nèi)完成部署

利用AWS CloudFormation模板和預(yù)配置的Lambda函數(shù)， 用戶可以在15分鐘內(nèi)完成部署 ，無需任何編程知識，大大簡化了部署流程。

無縫跨時間尺度分析

用戶可以輕松地在Grafana中進行跨年或跨毫秒的數(shù)據(jù)查詢和分析，得益于data lake中保留的原始時間戳和Grafana的即時重新采樣功能。

多功能數(shù)據(jù)湖與SQL接口

基于S3的Parquet data lake不僅支持Grafana可視化，還可以直接用于Python/Matlab查詢和Excel報告，提供了一個全面的數(shù)據(jù)分析平臺。

靈活的部署選項

本文主要探討了Amazon Athena集成方案，這是由于虹科CSS的多數(shù)用戶已經(jīng)采用AWS S3來存儲CANedge2/CANedge3設(shè)備生成的數(shù)據(jù)。

除了Athena，還可以考慮以下替代方案：

■ Grafana-ClickHouse： ClickHouse是一個開源的分析數(shù)據(jù)庫，能夠提供與Athena相似的性能。它支持在本地磁盤或自托管的S3兼容存儲（如MinIO）上進行數(shù)據(jù)可視化，并通過Grafana的ClickHouse數(shù)據(jù)源插件輕松集成。

■ Grafana-BigQuery： 對于使用谷歌云服務(wù)的用戶，BigQuery提供了一個與Amazon Athena功能相似的解決方案。通過BigQuery數(shù)據(jù)源插件，用戶可以便捷地將BigQuery與Grafana集成，實現(xiàn)數(shù)據(jù)的可視化分析。

04 應(yīng)用案例：原型車隊數(shù)據(jù)可視化

一位汽車OEM的工程師負責監(jiān)控50輛原型車的CAN數(shù)據(jù)，目的是進行深入的后期診斷分析。通過部署虹科CANedge3數(shù)據(jù)記錄儀，工程師能夠自動收集關(guān)鍵的車輛運行數(shù)據(jù)。

數(shù)據(jù)收集與處理

■ 自動化數(shù)據(jù)上傳： 利用3G/4G蜂窩網(wǎng)絡(luò)，虹科CANedge3設(shè)備將二進制日志文件自動上傳至公司專用的AWS S3服務(wù)器。

■ 數(shù)據(jù)處理： 存儲在S3 input bucket中的日志文件觸發(fā)一個Lambda函數(shù)，該函數(shù)使用相應(yīng)的DBC文件自動解碼數(shù)據(jù)，并將解碼后的數(shù)據(jù)轉(zhuǎn)換為Parquet格式，存儲在另一個S3 output bucket中。

數(shù)據(jù)可視化與分析

■ 定制Grafana面板： 用戶現(xiàn)在可以利用定制的Grafana儀表板，通過Athena插件直接查詢Parquet data lake中的數(shù)據(jù)。

■ 多維度分析： 這種設(shè)置為工程師提供了強大的工具，不僅可以進行實時監(jiān)控，還可以進行深入的診斷、基準測試和統(tǒng)計分析，從而優(yōu)化車輛性能和設(shè)計。

通過這種集成方案，汽車OEM能夠?qū)崿F(xiàn)數(shù)據(jù)的高效管理和分析，加速研發(fā)流程，提高原型車測試的質(zhì)量和效率。

采用Grafana-Athena集成方案，虹科成功為用戶實現(xiàn)了顯著的成本節(jié)約，成本降低超過95%。這一集成不僅優(yōu)化了數(shù)據(jù)管理和可視化流程，還為其他企業(yè)在處理大規(guī)模數(shù)據(jù)時提供了一種經(jīng)濟高效的Grafana面板可視化策略。更多相關(guān)信息，歡迎咨詢虹科工作人員。

虹科是一家在通訊領(lǐng)域，尤其是汽車電子和智能自動化領(lǐng)域擁有超過15年經(jīng)驗的高科技公司，致力于為客戶提供CAN/CAN FD、LIN、車載以太網(wǎng)、TSN等全方位的一站式智能互聯(lián)解決方案。

審核編輯 黃宇