本期虹科云課堂直播課程即將接近尾聲?！竞缈圃普n堂】虹科Flow——數(shù)據(jù)管道的可觀察性解決方案”直播課程圓滿(mǎn)結(jié)束，感謝大家的觀看與支持。虹小科為大家整理了課后筆記，請(qǐng)查收。

導(dǎo)語(yǔ)

虹科云課堂

前面兩節(jié)直播給大家介紹過(guò)我們的pulse和torch，pulse是一款計(jì)算性能監(jiān)控產(chǎn)品，可以幫助企業(yè)消除計(jì)劃外停機(jī)，降低基礎(chǔ)設(shè)施成本并提高效率，torch是管理數(shù)據(jù)質(zhì)量的一款產(chǎn)品，它超越數(shù)據(jù)監(jiān)控，能對(duì)靜態(tài)數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)進(jìn)行自動(dòng)分類(lèi)、編目和管理業(yè)務(wù)規(guī)則，跨數(shù)據(jù)湖、存儲(chǔ)庫(kù)監(jiān)控企業(yè)數(shù)據(jù)，助力企業(yè)數(shù)字化轉(zhuǎn)型。那么今天給大家介紹一款產(chǎn)品，F(xiàn)low，它是關(guān)于數(shù)據(jù)管道的可觀察性解決方案。

那么它如何幫助企業(yè)優(yōu)化數(shù)據(jù)管道性能呢?我們先不說(shuō)答案，把文章看完，你就明白了，最后我們會(huì)總結(jié)這個(gè)問(wèn)題的答案。

本文圍繞3部分展開(kāi)

1、Flow產(chǎn)品介紹

2、Flow介紹功能詳解

(數(shù)據(jù)可觀察性相關(guān)概念可見(jiàn)之前直播)

01 F產(chǎn)品介紹

這里列舉了一些企業(yè)平時(shí)可能會(huì)遇到的業(yè)務(wù)挑戰(zhàn)，首先是不可靠的數(shù)據(jù)管道和爆炸式增長(zhǎng)的成本，為了滿(mǎn)足企業(yè)內(nèi)部數(shù)據(jù)供應(yīng)的持續(xù)爆炸式增長(zhǎng)，供應(yīng)商發(fā)布了各種工具，使數(shù)據(jù)管道的創(chuàng)建比以往任何時(shí)候都更加容易。因此，現(xiàn)代數(shù)據(jù)架構(gòu)迅速膨脹，在短時(shí)間內(nèi)變得越來(lái)越大、越來(lái)越復(fù)雜。新形式的數(shù)據(jù)管道也更容易出現(xiàn)問(wèn)題。例如，如果出現(xiàn)硬件或網(wǎng)絡(luò)故障，實(shí)時(shí)事件流很容易丟失數(shù)據(jù)。第二個(gè)數(shù)據(jù)工程師依賴(lài)于耗時(shí)的手動(dòng)數(shù)據(jù)操作和故障排除過(guò)程，花費(fèi)太多時(shí)間查找和修復(fù)錯(cuò)誤，陷入與數(shù)據(jù)準(zhǔn)備和管道相關(guān)的手動(dòng)重復(fù)流程。

第三個(gè)是數(shù)據(jù)和業(yè)務(wù)策略的制定不準(zhǔn)確，數(shù)據(jù)管道中斷、數(shù)據(jù)損壞和其他問(wèn)題可能會(huì)在更多地方以更高的速度發(fā)生。追蹤根本原因和修復(fù)問(wèn)題可能非常耗時(shí)。這讓數(shù)據(jù)工程師沒(méi)有時(shí)間來(lái)擴(kuò)展或優(yōu)化業(yè)務(wù)線(xiàn)要求的更具戰(zhàn)略性的數(shù)據(jù)計(jì)劃。還有就是在典型的大型企業(yè)中，數(shù)據(jù)處理的紀(jì)律性不足。由于缺乏對(duì)可用數(shù)據(jù)的可見(jiàn)性和理解，企業(yè)數(shù)據(jù)在大多數(shù)關(guān)鍵決策過(guò)程中都沒(méi)有得到有效利用。

最后一個(gè)是數(shù)據(jù)投資的回報(bào)較低，如今大多數(shù)公司都運(yùn)行著龐大的混合基礎(chǔ)設(shè)施。他們將數(shù)據(jù)存儲(chǔ)在本地、托管服務(wù)器和 SaaS 云中。他們使用老式 SQL 關(guān)系數(shù)據(jù)庫(kù)、新式 NoSQL 鍵值存儲(chǔ)和尖端云數(shù)據(jù)倉(cāng)庫(kù)(如 Snowflake)提供數(shù)據(jù)。使用 Kafka 流式傳輸實(shí)時(shí)數(shù)據(jù)，并從 Databricks 湖庫(kù)中提供 ML 應(yīng)用程序，所有這些都以成為數(shù)據(jù)驅(qū)動(dòng)的數(shù)字企業(yè)的名義。然而，他們部署的云原生數(shù)據(jù)應(yīng)用程序越先進(jìn)，其基礎(chǔ)設(shè)施就越復(fù)雜。云成本是動(dòng)態(tài)的，使預(yù)測(cè)變得不穩(wěn)定，基于利用率的定價(jià)，也使得預(yù)算比服務(wù)器等資本投資或托管虛擬機(jī)典型的固定月費(fèi)更難。近乎無(wú)限的可擴(kuò)展性和即用即付定價(jià)相結(jié)合，使云成本高度波動(dòng)。以至于現(xiàn)在管理 IT 成本和最大限度地提高投資回報(bào)率非常困難。

那么我們應(yīng)該如何才能利用好數(shù)據(jù)做出正確、并且控制我們的成本和回報(bào)率的決策呢，可以試試?yán)肍low幫助我們。

Flow 是一種軟件開(kāi)發(fā)工具包，可讓團(tuán)隊(duì)觀察數(shù)據(jù)管道的健康狀況和性能。Flow 通過(guò)集成和監(jiān)控現(xiàn)有工作流平臺(tái)的性能，幫助數(shù)據(jù)工程師解決管道問(wèn)題并優(yōu)化資源。該工具利用開(kāi)源工作流平臺(tái)，如 Apache Airflow，并使用 API、數(shù)據(jù)源和轉(zhuǎn)換工具來(lái)構(gòu)建自定義工作流。

數(shù)據(jù)質(zhì)量問(wèn)題和管道故障的一個(gè)主要原因是這些管道內(nèi)的轉(zhuǎn)換。今天的大多數(shù)數(shù)據(jù)架構(gòu)都是不透明的——你無(wú)法知道里面發(fā)生了什么。轉(zhuǎn)型正在發(fā)生，但當(dāng)事情不如預(yù)期時(shí)，數(shù)據(jù)工程師并沒(méi)有太多的背景來(lái)解釋原因。

太多的 DataOps 團(tuán)隊(duì)花費(fèi)太多時(shí)間嘗試在沒(méi)有上下文的情況下診斷問(wèn)題。而且，如果您遵循您的第一直覺(jué)并使用軟件應(yīng)用程序性能管理工具 (APM) 來(lái)監(jiān)控 DataOps 管道，那么它很少會(huì)奏效。

管道測(cè)試框架允許數(shù)據(jù)工程師測(cè)試二進(jìn)制語(yǔ)句。例如，列中的所有值是否唯一，或者模式是否匹配某個(gè)表達(dá)式。當(dāng)測(cè)試失敗時(shí)，數(shù)據(jù)被標(biāo)記為“壞”。有了這些信息，數(shù)據(jù)工程團(tuán)隊(duì)可以診斷出質(zhì)量較差的數(shù)據(jù)并采取必要的步驟來(lái)解決問(wèn)題。在管道中的不同步驟重復(fù)測(cè)試，這使數(shù)據(jù)工程師可以很容易地清楚地看到數(shù)據(jù)在管道的哪個(gè)階段/層破壞，并找到最合適的人來(lái)解決問(wèn)題。

Flow通過(guò)提供對(duì)底層數(shù)據(jù)管道的全面可見(jiàn)性，幫助企業(yè)優(yōu)化業(yè)務(wù)流程性能、降低成本并最大限度地提高數(shù)據(jù)投資回報(bào)。由于它預(yù)先與 Pulse 和 Torch 集成，因此數(shù)據(jù)團(tuán)隊(duì)不僅可以評(píng)估數(shù)據(jù)管道的完整性，還可以通過(guò)統(tǒng)一的用戶(hù)界面發(fā)現(xiàn)影響性能的底層數(shù)據(jù)處理或數(shù)據(jù)質(zhì)量問(wèn)題。

數(shù)據(jù)管道可觀察性研究支持分析的數(shù)據(jù)管道的性能、可用性和利用率。數(shù)據(jù)工程師使用數(shù)據(jù)管道可觀察性產(chǎn)品來(lái)優(yōu)化數(shù)據(jù)交付以及支持管道的容器、存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)資源的性能。

Flow可以幫助企業(yè)追蹤數(shù)據(jù)的生命周期，并且能夠監(jiān)控管道中的數(shù)據(jù)交互、數(shù)據(jù)模式和業(yè)務(wù)事件等等。它有以下三個(gè)特點(diǎn)，首先他能提高數(shù)據(jù)的可見(jiàn)性，跨混合數(shù)據(jù)湖和倉(cāng)庫(kù)監(jiān)控?cái)?shù)據(jù)，以確保質(zhì)量和可靠性。第二個(gè)特點(diǎn)是它能提高管道效率和可靠性，在問(wèn)題影響性能之前預(yù)測(cè)并解決問(wèn)題。最后一個(gè)特點(diǎn)是它使數(shù)據(jù)管道與業(yè)務(wù)目標(biāo)保持一致，通過(guò)識(shí)別和消除瓶頸來(lái)降低數(shù)據(jù)管道成本，并針對(duì)資源、成本和時(shí)間等方面去優(yōu)化數(shù)據(jù)管道性能，并且進(jìn)行自動(dòng)化操作，以更少的資源管理數(shù)以千計(jì)的數(shù)據(jù)管道。

接下來(lái)看一下Flow的應(yīng)用場(chǎng)景，第一個(gè)是電信、金融服務(wù)、能源、物聯(lián)網(wǎng)和電子商務(wù)行業(yè)以及任何依賴(lài)大量靜止數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)以滿(mǎn)足運(yùn)營(yíng)和分析需求的企業(yè)，第二個(gè)是使用 Airflow, Amazon Kinesis, Amazon Redshift, Amazon Web Services-Kafka, Apache HBase, Apache Spark的公司都可以考慮采用flow來(lái)檢測(cè)我們的數(shù)據(jù)管道并確保跨混合數(shù)據(jù)湖和倉(cāng)庫(kù)的數(shù)據(jù)可靠性。

今天，數(shù)據(jù)工程師、分析師和數(shù)據(jù)科學(xué)家花費(fèi)數(shù)小時(shí)和數(shù)天來(lái)調(diào)試數(shù)據(jù)管道問(wèn)題。數(shù)據(jù)精度錯(cuò)誤也可能被忽視，在解釋儀表板時(shí)需要人工判斷。錯(cuò)過(guò)的 SLA 可能會(huì)導(dǎo)致難以發(fā)現(xiàn)和修復(fù)根本原因?，F(xiàn)有的監(jiān)控系統(tǒng)可以幫助解決黑白問(wèn)題，即基于癥狀的警報(bào)適用于明確定義的問(wèn)題，例如對(duì)失敗的作業(yè)或零行表的警報(bào)。大多數(shù)現(xiàn)實(shí)世界的問(wèn)題都屬于灰色區(qū)域，現(xiàn)有的監(jiān)控解決方案是不夠的，因?yàn)闊o(wú)法預(yù)測(cè)每一種故障模式或系統(tǒng)可能出現(xiàn)異常行為的每一種可能方式。例如，數(shù)據(jù)倉(cāng)庫(kù)超載導(dǎo)致作業(yè)完成延遲——依賴(lài)作業(yè)錯(cuò)誤地開(kāi)始處理數(shù)據(jù)，導(dǎo)致結(jié)果稍有不正確。任何監(jiān)控事件都不會(huì)生成警報(bào)，但最終結(jié)果是數(shù)據(jù)不準(zhǔn)確。

可觀察性不僅僅是對(duì)監(jiān)控的重新命名?？捎^察性側(cè)重于提供對(duì)系統(tǒng)行為的高度精細(xì)的洞察以及豐富的上下文。可觀察性側(cè)重于分布式跟蹤以生成用于調(diào)試的結(jié)構(gòu)化事件。

02 Flow功能詳解

我們希望幫助組織建成可靠的數(shù)據(jù)管道，我們希望幫助他們更快地?cái)U(kuò)展和創(chuàng)新，我們也希望幫助他們提高效率，降低他們的成本，所以基本上在流程中的兩個(gè)部分，首先是可見(jiàn)性，然后第二個(gè)是能夠查看不同的管道，能夠做交易，或者查看一個(gè)管道和另一個(gè)管道之間的交易，然后是成本效益分析。你想確保運(yùn)行速度快或準(zhǔn)時(shí)，你想確保管道中的數(shù)據(jù)是健康的，質(zhì)量好的，所以這是唯一一個(gè)真正將性能和質(zhì)量結(jié)合到管道健康狀況的單一視圖中的產(chǎn)品，所以粉紅色的氣泡顯示管道中發(fā)生的過(guò)程，綠色的盒子顯示數(shù)據(jù)。我們可以在一個(gè)視圖中向你展示處理過(guò)程的健康狀況和數(shù)據(jù)的健康狀況，然后基本上可以讓你向下鉆研，查看數(shù)據(jù)質(zhì)量的Torch，查看處理過(guò)程的性能，所以這是在高層次上。關(guān)于我們的管道，我想說(shuō)的是，有些產(chǎn)品可以讓你在靜態(tài)視圖中查看線(xiàn)路或管道，但我們?cè)诿看芜\(yùn)行管道時(shí)都會(huì)捕捉到圍繞管道的每個(gè)執(zhí)行的指標(biāo)。

這里有一個(gè)管道視圖，我們?yōu)楣艿烂看芜\(yùn)行的歷史記錄，當(dāng)你運(yùn)行時(shí)，當(dāng)你看一個(gè)特定數(shù)據(jù)管道的執(zhí)行過(guò)程，我們可以告訴你這是如何執(zhí)行的，在整個(gè)過(guò)程中每一步的時(shí)間是什么，總體上是什么。我們還可以讓你進(jìn)行比較，所以如果你想知道為什么今天比昨天花的時(shí)間長(zhǎng)，可以讓你弄清楚流程中或管道中的什么地方。它的流程或你知道什么是可能運(yùn)行得更快或不同的，它也有助于你在設(shè)計(jì)時(shí)，所以如果你設(shè)計(jì)，如果你正在尋找2個(gè)不同的架構(gòu)和2個(gè)不同的管道與不同的技術(shù)，也可能是兩種不同的云，比如一個(gè)在阿里云一個(gè)在華為云，你可以比較，看哪一個(gè)表現(xiàn)更好，哪一個(gè)更快和在哪些領(lǐng)域，哪一個(gè)性能更好，哪一個(gè)運(yùn)行成本更低，這些都可以幫助你優(yōu)化你的設(shè)計(jì)，以及從性能的角度解決任何問(wèn)題，然后你可以深入到任何特定的過(guò)程，看看這個(gè)過(guò)程是在哪里執(zhí)行的，圍繞這個(gè)過(guò)程做進(jìn)一步的分析。通過(guò)比較一種架構(gòu)與另一種架構(gòu)的價(jià)格和性能以及每種架構(gòu)的相應(yīng)遷移成本來(lái)優(yōu)化設(shè)計(jì)。這也有助于權(quán)衡增加新技術(shù)的好處和技術(shù)蔓延的壞處。這使你能夠合理調(diào)整現(xiàn)代化的短期投資，以獲得長(zhǎng)期的收益，同時(shí)最大限度地減少技術(shù)蔓延。

如果你想點(diǎn)擊任何特定的資產(chǎn)，我們會(huì)告訴你它是什么時(shí)候被剖析的，如果它有數(shù)據(jù)質(zhì)量應(yīng)用或和解政策，基本上確保數(shù)據(jù)從a點(diǎn)到b點(diǎn)。我們讓你全面了解該資產(chǎn)的健康狀況，然后我們還讓你深入了解數(shù)據(jù)質(zhì)量，所以這是流量的一個(gè)快速視圖，基本上是你的管道的運(yùn)營(yíng)視圖的綜合視圖，能夠看到每個(gè)執(zhí)行，能夠看到處理或計(jì)算性能健康，質(zhì)量健康，并能夠深入了解每個(gè)過(guò)程。

Flow提供的價(jià)值和關(guān)鍵功能如圖所示，

第一個(gè)是它能消除數(shù)據(jù)停機(jī)時(shí)間，在問(wèn)題影響性能或?qū)е掠?jì)劃外中斷之前，預(yù)測(cè)和預(yù)防這些問(wèn)題。通過(guò)監(jiān)控 SLA/SLO 并輕松、即時(shí)地識(shí)別異常，并跟蹤每個(gè)數(shù)據(jù)交易、握手和轉(zhuǎn)換，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)模式、分布和業(yè)務(wù)事件;第二個(gè)是他能優(yōu)化數(shù)據(jù)工程生產(chǎn)力，自動(dòng)化管道檢測(cè)，并通過(guò)數(shù)據(jù)傳輸、轉(zhuǎn)換、數(shù)據(jù)移動(dòng)和復(fù)制生成高保真的遙測(cè)數(shù)據(jù)。flow可以立即識(shí)別和修復(fù)數(shù)據(jù)管道問(wèn)題，即時(shí)創(chuàng)建和跟蹤自定義業(yè)務(wù)事件，并且與開(kāi)箱即用的流行 ETL 工具集成;然后是它簡(jiǎn)化數(shù)據(jù)管道操作，使用統(tǒng)一控制臺(tái)進(jìn)行監(jiān)控、調(diào)查和補(bǔ)救。最后一個(gè)是它可以與流行的工具和平臺(tái)集成，輕松連接與常用的ETL和ELT工具，定制管道建立在Databricks,Snowpipe,Hive,Spark,and orchestration engines, such as Airflow and Oozie之上。

剛剛有說(shuō)到一個(gè)問(wèn)題，動(dòng)態(tài)的云成本讓我們的數(shù)據(jù)回報(bào)率比較低，那么應(yīng)該如何解決這種問(wèn)題呢，首先我們需要為數(shù)據(jù)工程師提供多維數(shù)據(jù)可觀察性平臺(tái)比如說(shuō)Flow，讓他們能夠精細(xì)地了解云數(shù)據(jù)成本。讓數(shù)據(jù)團(tuán)隊(duì)繼續(xù)快速行動(dòng)，同時(shí)保持在既定的財(cái)務(wù)范圍內(nèi)。

第二步是讓成本優(yōu)化成為數(shù)據(jù)工程文化中的一流指標(biāo)。成本優(yōu)化必須從設(shè)計(jì)階段開(kāi)始。在工程階段之后，它不能被動(dòng)地完成。

第三步是通過(guò)使用數(shù)據(jù)可觀察性，節(jié)省調(diào)查支出異常的時(shí)間。這可以提供自動(dòng)化的根本原因分析，以確定潛在的成本驅(qū)動(dòng)因素，例如服務(wù)類(lèi)型、特定的倉(cāng)庫(kù)計(jì)算成本等。假如公司需要遷移數(shù)據(jù)到云上，我們通過(guò)比較一種架構(gòu)與另一種架構(gòu)的價(jià)格和性能以及每種架構(gòu)的相應(yīng)遷移成本來(lái)優(yōu)化設(shè)計(jì)。這也有助于權(quán)衡添加新技術(shù)的好處與技術(shù)蔓延的不利因素。這使您能夠適當(dāng)調(diào)整現(xiàn)代化的短期投資以獲得長(zhǎng)期收益，同時(shí)最大限度地減少技術(shù)蔓延。

第四步是通過(guò)電子郵件、Slack 和其他渠道的自動(dòng)警報(bào)，讓數(shù)據(jù)運(yùn)營(yíng)團(tuán)隊(duì)(DataOps) 隨時(shí)了解意外成本事件。

最后讓數(shù)據(jù)團(tuán)隊(duì)與其業(yè)務(wù)線(xiàn)、FinOps、IT 等方面的合作伙伴安排定期財(cái)務(wù)審查。就有關(guān)云數(shù)據(jù)合同、預(yù)算和預(yù)測(cè)的所有事項(xiàng)進(jìn)行溝通。

介紹一下虹科數(shù)據(jù)可觀察性方案的特點(diǎn)：

第一個(gè)就是它可以快速、無(wú)縫地連接到你現(xiàn)有的堆棧，不需要修改你的管道，編寫(xiě)新的代碼，或使用特定的編程語(yǔ)言。能夠快速實(shí)現(xiàn)價(jià)值和最大的測(cè)試覆蓋率，不需要進(jìn)行大量投資。

第二個(gè)就是它監(jiān)控你的靜態(tài)數(shù)據(jù)，不需要從當(dāng)前存儲(chǔ)的地方提取數(shù)據(jù)。也就是說(shuō)這個(gè)解決方案具有良好的性能、可擴(kuò)展性和成本效益。它還能確保你滿(mǎn)足最高級(jí)別的安全和合規(guī)要求。

它配置簡(jiǎn)單，實(shí)際上不需要設(shè)置閾值。它使用ML模型來(lái)自動(dòng)學(xué)習(xí)你的系統(tǒng)環(huán)境和數(shù)據(jù)。并且使用異常檢測(cè)技術(shù)，讓你知道什么時(shí)候可能會(huì)出現(xiàn)問(wèn)題。它不僅考慮到個(gè)別指標(biāo)，而且考慮到你的數(shù)據(jù)的整體視圖和任何特定問(wèn)題的潛在影響，從而最大限度地減少錯(cuò)誤的警報(bào)。你不需要花費(fèi)資源去配置和維護(hù)復(fù)雜的規(guī)則。

它不需要事先對(duì)需要監(jiān)測(cè)的內(nèi)容和方式進(jìn)行映射。它可以幫助你識(shí)別關(guān)鍵資源、關(guān)鍵依賴(lài)關(guān)系和關(guān)鍵不變量，這樣你就可以用很少的人力精力獲得廣泛的可觀察性。

它提供了豐富的上下文，能夠快速分流和排除故障。

它通過(guò)公開(kāi)關(guān)于數(shù)據(jù)資產(chǎn)的豐富信息來(lái)防止問(wèn)題的發(fā)生，這樣我們就可以主動(dòng)地進(jìn)行修改。

03虹科方案為企業(yè)帶來(lái)的好處

通過(guò)我們這幾次的直播，我們可以了解到企業(yè)在數(shù)字轉(zhuǎn)型關(guān)鍵期面臨的一些問(wèn)題是可以通過(guò)我們的產(chǎn)品去解決的，這邊也有一頁(yè)P(yáng)PT去總結(jié)我們這三個(gè)產(chǎn)品能夠?yàn)槠髽I(yè)提供的好處。

我們的產(chǎn)品可以從這四個(gè)層面對(duì)企業(yè)數(shù)據(jù)系統(tǒng)進(jìn)行優(yōu)化調(diào)整，它是監(jiān)控和管理當(dāng)今復(fù)雜數(shù)據(jù)存儲(chǔ)和管道的一種全方位方法。它有助于預(yù)測(cè)、預(yù)防和自動(dòng)解決數(shù)據(jù)性能問(wèn)題及其相關(guān)的人工智能和分析工作負(fù)載。它使用自動(dòng)化和機(jī)器學(xué)習(xí)來(lái)關(guān)聯(lián)多個(gè)服務(wù)器、節(jié)點(diǎn)、集群、容器和應(yīng)用程序中的數(shù)千個(gè)事件。

我們的解決方案提供了靜態(tài)數(shù)據(jù)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)數(shù)據(jù)、數(shù)據(jù)處理以及數(shù)據(jù)傳輸管道的360度視圖。它創(chuàng)建解決方案并提供優(yōu)化，以保持?jǐn)?shù)據(jù)性能的準(zhǔn)確性、一致性和可用性，因此數(shù)據(jù)操作和工程團(tuán)隊(duì)可以輕松滿(mǎn)足其所有SLA。

真正的數(shù)據(jù)可觀察性工具超越了傳統(tǒng)的數(shù)據(jù)編目和質(zhì)量工具，通過(guò)監(jiān)控更廣泛的數(shù)據(jù)風(fēng)險(xiǎn)，包括動(dòng)態(tài)數(shù)據(jù)。他們還將更多任務(wù)自動(dòng)化以減少手動(dòng)工作，并使用機(jī)器學(xué)習(xí)來(lái)提高他們的檢測(cè)能力——例如數(shù)據(jù)移動(dòng)、結(jié)構(gòu)變化(模式漂移)和數(shù)據(jù)趨勢(shì)(數(shù)據(jù)漂移)等領(lǐng)域?？傊?，數(shù)據(jù)可觀察性工具可以提供比其前輩更強(qiáng)大、更高效、更智能的數(shù)據(jù)管理能力。

我們不能忘記數(shù)據(jù)管道管理領(lǐng)域，數(shù)據(jù)可觀察性工具在該領(lǐng)域是無(wú)可匹敵的。他們可以通過(guò)在整個(gè)過(guò)程中提供持續(xù)的數(shù)據(jù)驗(yàn)證來(lái)使管道更易于管理。它們還可以提高遷移到云的速度，降低數(shù)據(jù)存儲(chǔ)和處理成本，同時(shí)實(shí)現(xiàn)您的 SLA。換句話(huà)說(shuō)，減少云時(shí)代數(shù)據(jù)管道的管理時(shí)間和成本。

虹科電子

虹科在工業(yè)、制造業(yè)領(lǐng)域深耕了長(zhǎng)達(dá)20年，隨著云技術(shù)的全面發(fā)展和數(shù)字化工廠的逐步落地，虹科參與了越來(lái)越多的云主題的業(yè)務(wù)，從最初的所有數(shù)據(jù)先統(tǒng)一采集上云，到后續(xù)的邊緣計(jì)算再上云，到現(xiàn)在的全面業(yè)務(wù)優(yōu)化、洞察研究、成本優(yōu)化等，虹科的云科技事業(yè)部已經(jīng)為行業(yè)的用戶(hù)實(shí)操并積累了豐富的解決方案和應(yīng)用場(chǎng)景。它們包括：資源監(jiān)控、安全保障、多云的互聯(lián)互通、應(yīng)用和數(shù)據(jù)牽引等。虹科云科技團(tuán)隊(duì)在不斷順應(yīng)國(guó)家策略，從技術(shù)創(chuàng)新、標(biāo)準(zhǔn)制定、豐富生態(tài)、安全保障、節(jié)能減排等五個(gè)方面，不斷創(chuàng)造出更好的產(chǎn)品，幫助工業(yè)制造業(yè)的用戶(hù)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型、實(shí)現(xiàn)基于數(shù)據(jù)的降本增效。

虹科云科技工程師團(tuán)隊(duì)不斷參與美國(guó)和歐洲產(chǎn)業(yè)內(nèi)先進(jìn)的專(zhuān)家培訓(xùn)，學(xué)習(xí)和實(shí)踐創(chuàng)新的技術(shù)手段、操作性強(qiáng)的應(yīng)用案例，并不斷引入到國(guó)內(nèi)的項(xiàng)目中完成落地和推廣，這讓我們團(tuán)隊(duì)充滿(mǎn)了自豪感與使命感，賦予了我們當(dāng)今時(shí)代極大的技術(shù)價(jià)值、工作成就感。

原文標(biāo)題：直播精彩回顧(四)| 虹科Flow——數(shù)據(jù)管道的可觀察性解決方案

文章出處：【微信公眾號(hào)：廣州虹科電子科技有限公司】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅