色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

機器學習如何幫助解決大數(shù)據(jù)轉(zhuǎn)換及管理問題?

電子設(shè)計 ? 來源:電子設(shè)計 ? 作者:電子設(shè)計 ? 2020-12-24 23:20 ? 次閱讀

盡管大數(shù)據(jù)分析技術(shù)取得了驚人的進步,但我們在很大程度上仍需要手動來完成重要任務(wù),例如數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)管理。隨著數(shù)據(jù)量的增長,手動完成任務(wù)與自動化產(chǎn)生的生產(chǎn)力差距越來越大,這使得以人工智能機器學習為基礎(chǔ)的自動化趨勢越來越有市場。機器學習可以幫助縮小這一差距嗎?

坦率地說,數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)管理問題頗具挑戰(zhàn)性。各行各業(yè)的公司都渴望將機器學習與他們的數(shù)據(jù)庫結(jié)合使用,以獲得競爭優(yōu)勢。但是,數(shù)據(jù)不干凈、數(shù)據(jù)未集成、不可比較和不匹配的數(shù)據(jù)問題層出不窮,使公司的大數(shù)據(jù)計劃陷入困境。

許多從事機器學習的數(shù)據(jù)科學家花費了90%的時間來查找、集成、修復和清理其輸入數(shù)據(jù)。 人們似乎沒有意識到數(shù)據(jù)科學家不再是數(shù)據(jù)科學家,而是成為了數(shù)據(jù)集成商。

不過也有一個好消息,機器學習本身可以幫助機器學習。這個想法是利用算法的預測能力來模擬人類數(shù)據(jù)處理。這不是100%完美的解決方案,但它可以幫助緩解工作強度,讓數(shù)據(jù)科學家轉(zhuǎn)向真正的創(chuàng)新工作。

您可以在任何你能買到的地方購買ML,通過使用ML來來幫助您完成ETL的轉(zhuǎn)換部分。

轉(zhuǎn)換和管理數(shù)據(jù)

雖然它們在某些方面是相似的,但是數(shù)據(jù)管理和數(shù)據(jù)轉(zhuǎn)換之間有重要的區(qū)別。數(shù)據(jù)轉(zhuǎn)換是數(shù)據(jù)集成過程中的第一步,其目標是將異類數(shù)據(jù)轉(zhuǎn)換為通用的全局模式,組織可以提前制定該模式。自動腳本通常用于將美元轉(zhuǎn)換成歐元,或?qū)⒂㈡^轉(zhuǎn)換成公斤。

轉(zhuǎn)換階段之后,分析人員開始管理和分析數(shù)據(jù)。第一步通常涉及運行“match/merge”函數(shù)來創(chuàng)建與相同實體對應(yīng)的記錄集群,例如將不同但拼寫相似的名稱分組在一起。像“編輯距離”這樣的概念可以用來確定兩個不同實體之間的距離。

然后使用更多的規(guī)則來比較各種實體,以確定給定記錄的最佳值。公司可以聲明最后一項是最好的,或者使用一組值中的公共值,這樣就可以產(chǎn)生最佳數(shù)據(jù)。

幾十年來,這種通用的兩步過程已在許多數(shù)據(jù)倉庫中使用,并且在現(xiàn)代的數(shù)據(jù)湖中繼續(xù)使用。但是,ETL和數(shù)據(jù)管理在很大程度上未能跟上今天的數(shù)據(jù)量以及企業(yè)面臨的挑戰(zhàn)規(guī)模。

例如,這需要預先定義一個全局模式,這阻礙了許多ETL的進行,這些工作試圖集成更多的數(shù)據(jù)源。在有些時候,程序員無法跟上必須設(shè)置的數(shù)據(jù)轉(zhuǎn)換規(guī)則的數(shù)量。

如果您有10個數(shù)據(jù)源,您還可以這樣做,但是,如果您有10,000個,那就不太可能了。

顯然,這需要一種不同的方法。

在小型企業(yè)中,您可能可以提前創(chuàng)建全局數(shù)據(jù)模式,然后在整個組織中強制使用它,從而省去了昂貴的ETL和數(shù)據(jù)管理項目的成本,一起放在數(shù)據(jù)倉庫中。但是,在大型組織中,這種自上而下的方法不可避免地會失敗。

即使大型企業(yè)中的業(yè)務(wù)部門彼此非常相似,它們記錄數(shù)據(jù)的方式也會有微小的差異。這些微小差異需要加以考慮,然后才能對其進行有意義的分析,這只是企業(yè)數(shù)據(jù)性質(zhì)的反映。

因此業(yè)務(wù)靈活性需要一定程度的獨立性,這意味著每個業(yè)務(wù)部門都建立自己的數(shù)據(jù)中心

例如,以豐田汽車歐洲公司(Toyota Motor Europe)為例,該公司在每個業(yè)務(wù)國家都有獨立的客戶支持組織。該公司希望為250個數(shù)據(jù)庫中的所有實體創(chuàng)建一個主記錄,其中包含40種不同語言的3000萬條記錄。

豐田汽車歐洲公司面臨的問題是,ETL和數(shù)據(jù)管理項目的規(guī)模是巨大的,如果按照傳統(tǒng)方式進行,將消耗大量的資源。該公司決定使用Tamr來幫助解決機器學習的挑戰(zhàn),而不是數(shù)據(jù)轉(zhuǎn)換和使用數(shù)據(jù)管理過程。

ETL最大的問題是已經(jīng)預先定義了全局模式,如何大規(guī)模地做到這一點是個問題。需要使用機器學習進行自下向上的匹配、自下而上地構(gòu)造目標模式,從規(guī)模上看,這是唯一可行的方式。

這并不意味著機器學習提供了非常簡單的方法來解決這些棘手的數(shù)據(jù)集成問題。它仍然需要大量的數(shù)據(jù)和處理能力,您通常需要一個最優(yōu)秀的員工來幫助指導軟件獲得正確的數(shù)據(jù)分析結(jié)果與決策見解。

這樣來看的話,成本并不便宜,但這不是最重要的。但還有一個問題是,不同的供應(yīng)商之間該如何選擇。不同國家或地區(qū)的供應(yīng)商提供的解決方案不同,而且出于一些宏觀因素,會出現(xiàn)不同的選擇。

出于安全考慮,這些數(shù)據(jù)問題不能完全外包給其他公司,所以不要指望完全用機器學習來處理數(shù)據(jù),人在其中的作用還是非常重要的。人與機器學習合作才能夠使您的數(shù)據(jù)集成和管理效率最大化。

審核編輯 黃昊宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 工業(yè)自動化
    +關(guān)注

    關(guān)注

    17

    文章

    2370

    瀏覽量

    67220
  • 機器學習
    +關(guān)注

    關(guān)注

    66

    文章

    8408

    瀏覽量

    132572
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8883

    瀏覽量

    137407
收藏 人收藏

    評論

    相關(guān)推薦

    什么是機器學習?通過機器學習方法能解決哪些問題?

    計算機系統(tǒng)自身的性能”。事實上,由于“經(jīng)驗”在計算機系統(tǒng)中主要以數(shù)據(jù)的形式存在,因此機器學習需要設(shè)法對數(shù)據(jù)進行分析學習,這就使得它逐漸成為智
    的頭像 發(fā)表于 11-16 01:07 ?386次閱讀
    什么是<b class='flag-5'>機器</b><b class='flag-5'>學習</b>?通過<b class='flag-5'>機器</b><b class='flag-5'>學習</b>方法能解決哪些問題?

    NPU與機器學習算法的關(guān)系

    在人工智能領(lǐng)域,機器學習算法是實現(xiàn)智能系統(tǒng)的核心。隨著數(shù)據(jù)量的激增和算法復雜度的提升,對計算資源的需求也在不斷增長。NPU作為一種專門為深度學習
    的頭像 發(fā)表于 11-15 09:19 ?434次閱讀

    eda在機器學習中的應(yīng)用

    機器學習項目中,數(shù)據(jù)預處理和理解是成功構(gòu)建模型的關(guān)鍵。探索性數(shù)據(jù)分析(EDA)是這一過程中不可或缺的一部分。 1. 數(shù)據(jù)清洗
    的頭像 發(fā)表于 11-13 10:42 ?293次閱讀

    基于Kepware的Hadoop大數(shù)據(jù)應(yīng)用構(gòu)建-提升數(shù)據(jù)價值利用效能

    處理超大數(shù)據(jù)集。 Hadoop的生態(tài)系統(tǒng)非常豐富,包括許多相關(guān)工具和技術(shù),如Hive、Pig、HBase等,這些工具可以方便地構(gòu)建復雜的大數(shù)據(jù)應(yīng)用。Hadoop廣泛應(yīng)用于各種場景,包括數(shù)據(jù)處理和分析、
    的頭像 發(fā)表于 10-08 15:12 ?149次閱讀
    基于Kepware的Hadoop<b class='flag-5'>大數(shù)據(jù)</b>應(yīng)用構(gòu)建-提升<b class='flag-5'>數(shù)據(jù)</b>價值利用效能

    基于大數(shù)據(jù)與深度學習的穿戴式運動心率算法

    性能的關(guān)鍵手段。然而,在復雜多變的運動環(huán)境中,準確測量心率數(shù)據(jù)對于傳統(tǒng)算法而言具有較大的技術(shù)瓶頂。本文將探討如何運用大數(shù)據(jù)和深度學習技術(shù)來開發(fā)創(chuàng)新的穿戴式運動心率算
    的頭像 發(fā)表于 09-10 08:03 ?257次閱讀
    基于<b class='flag-5'>大數(shù)據(jù)</b>與深度<b class='flag-5'>學習</b>的穿戴式運動心率算法

    【《時間序列與機器學習》閱讀體驗】+ 時間序列的信息提取

    本人有些機器學習的基礎(chǔ),理解起來一點也不輕松,加油。 作者首先說明了時間序列的信息提取是時間序列分析的一個重要環(huán)節(jié),目標是從給定的時間序列數(shù)據(jù)中提取出有用的信息和特征,以支持后續(xù)的分析和預測任務(wù),可以
    發(fā)表于 08-14 18:00

    【《時間序列與機器學習》閱讀體驗】+ 了解時間序列

    收到《時間序列與機器學習》一書,彩色印刷,公式代碼清晰,非常精美。感謝作者,感謝電子發(fā)燒友提供了一個讓我學習時間序列及應(yīng)用的機會! 前言第一段描述了編寫背景: 由此可知,這是一本關(guān)于時間序列進行
    發(fā)表于 08-11 17:55

    機器學習中的數(shù)據(jù)分割方法

    機器學習中,數(shù)據(jù)分割是一項至關(guān)重要的任務(wù),它直接影響到模型的訓練效果、泛化能力以及最終的性能評估。本文將從多個方面詳細探討機器學習
    的頭像 發(fā)表于 07-10 16:10 ?1717次閱讀

    機器學習中的數(shù)據(jù)預處理與特征工程

    機器學習的整個流程中,數(shù)據(jù)預處理與特征工程是兩個至關(guān)重要的步驟。它們直接決定了模型的輸入質(zhì)量,進而影響模型的訓練效果和泛化能力。本文將從數(shù)據(jù)預處理和特征工程的基本概念出發(fā),詳細探討這
    的頭像 發(fā)表于 07-09 15:57 ?395次閱讀

    機器學習數(shù)據(jù)分析中的應(yīng)用

    隨著大數(shù)據(jù)時代的到來,數(shù)據(jù)量的爆炸性增長對數(shù)據(jù)分析提出了更高的要求。機器學習作為一種強大的工具,通過訓練模型從
    的頭像 發(fā)表于 07-02 11:22 ?612次閱讀

    機器學習的經(jīng)典算法與應(yīng)用

    關(guān)于數(shù)據(jù)機器學習就是喂入算法和數(shù)據(jù),讓算法從數(shù)據(jù)中尋找一種相應(yīng)的關(guān)系。Iris鳶尾花數(shù)據(jù)集是一個經(jīng)典數(shù)據(jù)
    的頭像 發(fā)表于 06-27 08:27 ?1640次閱讀
    <b class='flag-5'>機器</b><b class='flag-5'>學習</b>的經(jīng)典算法與應(yīng)用

    名單公布!【書籍評測活動NO.35】如何用「時間序列與機器學習」解鎖未來?

    設(shè)備的運行狀況,生成各種維度的報告。 同時,通過大數(shù)據(jù)分析和機器學習技術(shù),可以對業(yè)務(wù)進行預測和預警,從而協(xié)助社會和企業(yè)進行科學決策、降低成本并創(chuàng)造新的價值。 當今時代,數(shù)據(jù)無處不在,
    發(fā)表于 06-25 15:00

    大數(shù)據(jù)在部隊管理中的運用有哪些

    智慧華盛恒輝大數(shù)據(jù)在部隊管理中的運用主要體現(xiàn)在以下幾個方面: 決策支持: 智慧華盛恒輝部隊管理可以利用大數(shù)據(jù)技術(shù),對海量的數(shù)據(jù)進行分析,為決
    的頭像 發(fā)表于 06-23 09:53 ?1113次閱讀

    淺析大數(shù)據(jù)時代下的數(shù)據(jù)中心運維管理

    淺析大數(shù)據(jù)時代下的數(shù)據(jù)中心運維管理 張穎姣 安科瑞電氣股份有限公司?上海嘉定201801 摘要:本文將從數(shù)據(jù)中心運維管理的角度,聯(lián)系現(xiàn)實情況
    的頭像 發(fā)表于 02-22 14:40 ?380次閱讀
    淺析<b class='flag-5'>大數(shù)據(jù)</b>時代下的<b class='flag-5'>數(shù)據(jù)</b>中心運維<b class='flag-5'>管理</b>

    大數(shù)據(jù)技術(shù)是干嘛的 大數(shù)據(jù)核心技術(shù)有哪些

    的核心技術(shù),包括數(shù)據(jù)采集、存儲與管理、處理與分析等方面。 一、大數(shù)據(jù)技術(shù)背景和概念 1.1 背景 隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展,人們可以通過各種途徑產(chǎn)生、獲取和傳輸數(shù)據(jù),使
    的頭像 發(fā)表于 01-31 11:07 ?3396次閱讀
    主站蜘蛛池模板: 久久亚洲精品AV成人无| 欧美性情video sexo视频| 女教师杨雪的性荡生活| 日本伦理电影聚| 亚洲色大成网站WWW永久麻豆| 91热久久免费频精品动漫99| 国产成+人+综合+亚洲不卡| 精品久久日日躁夜夜躁AV| 欧洲video60| 亚洲免费无码中文在线| qvod欧美电影| 久久精品电影| 熟妇内谢69XXXXXA片| 2012中文字幕手机在线| 国产精品色午夜视频免费看| 美女被强奷到抽搐的动态图| 午夜色情影院色a国产| 97在线视频免费人妻| 伊人色综合久久天天| 国产成+人欧美+综合在线观看| 国产SUV精品一区二区69| 九九精品视频一区二区三区| 日韩美女爱爱| 中文字幕天堂久久精品| 国产欧美无码亚洲毛片| 欧美日韩中文国产一区发布| 亚洲一区免费在线观看| 国产AV天堂亚洲AV麻豆| 免费欧美大片| 妖精视频免费高清观看| 国产 亚洲 中文字幕 在线| 蜜桃最新网址| 野花高清影视免费观看| 国产精品AV色欲蜜臀在线| 欧美性FREE玩弄少妇| 中文字幕亚洲无线码高清不卡| 国产三级在线免费| 日韩精品无码久久一区二区三 | 亚洲AV无码乱码在线观看浪潮| 被免费网站在线视频| 美女张开让男生桶|