色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

面向工程師和科學家的大數據

星星科技指導員 ? 來源:嵌入式計算設計 ? 作者:Dave Oswill ? 2022-10-06 07:52 ? 次閱讀

使用大數據正迅速成為科學發現和工程過程中的關鍵步驟。隨著智能傳感器物聯網IoT) 等技術能夠從科學儀器、制造系統、聯網汽車和飛機中收集大量詳細數據,這種情況正在發生。

這些數據具有重要價值,因為它可以顯示重要的物理現象或提供有關系統運行環境、效率和健康狀況的信息。借助適當的工具和技術,這些數據可用于進行快速的科學發現,并在您的產品、服務和制造過程中開發和整合更多智能。這可以使您的公司以性能更好的產品或服務脫穎而出,并有助于符合法規要求(例如滿足發動機燃油效率標準或提供輔助駕駛能力)。

獲得訪問權和使用數據可能聽起來很有趣,但也很艱巨。由于這些數據的價值和大小,它通常在大型文件共享、數據庫或 Hadoop 或 Spark 等大數據系統中存儲和管理。不久前,為了將機器學習等先進技術應用于大量數據,具有 IT 系統經驗的計算機科學家將與工程和科學專家一起工作。該團隊將共同支持一個工作流程,其中包括:

訪問文件、數據庫或 Hadoop 分布式文件系統 (HDFS) 中的大數據

在專門的計算集群上探索、處理和分析這些數據

創建用于嵌入式系統、業務應用程序和其他服務的算法

如今,MATLAB等軟件分析和建模工具已通過處理大數據的新功能得到增強。這使具有領域知識和經驗的工程師和科學家能夠利用這些數據做出設計和業務決策。然后,工程師和科學家無論身在何處都可以方便地訪問這些數據,并使用熟悉的語法和功能輕松使用它。

讓我們看一個工程師如何使用大數據的實際示例。貝克休斯的工程師為石油和天然氣運營商提供服務的供應商,需要開發一種預測性維護系統,以降低泵設備成本和石油和天然氣開采卡車的停機時間。如果活動現場的卡車出現泵故障,貝克休斯必須立即更換卡車以確保連續運行。向每個站點發送備用卡車會使公司損失數千萬美元的收入,如果它們在另一個站點積極使用,這些收入可能會在其他地方產生。無法準確預測閥門和泵何時需要維護是其他成本的基礎。過于頻繁的維護會浪費精力,并導致零件在仍然可用時被更換,而過于不頻繁的維護可能會損壞泵而無法修復。

從石油和天然氣開采卡車上收集了數 TB 的數據,這些數據用于開發一個應用程序,該應用程序可以預測設備何時需要維護或更換。MATLAB 為 Baker Hughes 的工程師提供了開發預測模型和將多種數據(包括來自專有文件格式的傳感器數據)合并到一個分析應用程序中所需的功能。

訪問大量數據

處理大數據的第一個挑戰是確定如何訪問大型數據集,因為它們有多種不同的形式并存儲在各種類型的系統中。

文件

許多大型工程和科學數據集由大量中小型文件組成,盡管文件變得越來越大,并且無法放入單臺計算機的內存中。這些文件通常位于共享驅動器上的一個或多個目錄中,可能包含分隔文本、電子表格、圖像、視頻和各種專有格式。

數據庫

有多種數據庫類型可用于存儲和管理大量數據:

關系型 (SQL):廣泛用于業務應用程序,在 IT 開發人員中很受歡迎。

數據倉庫:基于關系 (SQL) 數據庫,存儲關鍵業務數據,并為關鍵業務應用程序提供分析能力和快速訪問。

NoSQL:針對不適合關系數據庫的數據進行了優化。

數據歷史學家:針對通常從工業設備收集的基于時間的生產和過程數據進行了優化。

物聯網數據聚合器:通常包括基于云的服務,用于聚合來自連接的傳感器和設備的時間序列數據。這些服務通常通過 Web 服務調用來訪問。

Hadoop

Hadoop是一種基于分布式計算和存儲原理的大數據集存儲和處理系統。它由在計算服務器集群上共存的兩個主要子系統組成:

HDFS:一種大型、抗故障的文件系統,稱為 Hadoop 分布式文件系統。

YARN:管理在 Hadoop 上運行的應用程序,包括批處理框架,例如 MapReduce 和 Spark,以及 SQL 接口,例如 Hive 和 Impala。

為了有效地利用大數據的優勢,工程師和科學家需要一個可擴展的工具,例如 MATLAB,以提供對用于存儲和管理數據的各種系統和格式的訪問。這在可能使用不止一種類型的系統和格式的情況下尤其重要。存儲在共享驅動器文件中的傳感器或圖像數據可能需要與存儲在數據庫中的元數據相結合;就貝克休斯而言,許多不同格式的數據必須一起使用,以了解系統的行為并開發預測模型。

處理大數據的能力正迅速成為科學發現和工程的一個重要方面。這些數據集中包含寶貴的數據,提供了區分您的產品和服務的方法。作為科學家或工程師,您擁有使用這些數據做出設計和業務決策的領域知識和經驗,但可能需要易于使用的軟件分析和建模工具。使用 MATLAB 等工具可提供可擴展性和效率,同時為您的公司提供在全球市場上的競爭優勢。

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 傳感器
    +關注

    關注

    2550

    文章

    51035

    瀏覽量

    753084
  • matlab
    +關注

    關注

    185

    文章

    2974

    瀏覽量

    230385
  • 大數據
    +關注

    關注

    64

    文章

    8882

    瀏覽量

    137403
收藏 人收藏

    評論

    相關推薦

    西湖大學:科學家+AI,科研新范式的樣本

    研究,創新科研新范式。這一點在西湖大學的科研項目中已得到體現。 成立于2018年的西湖大學是由施一公院士領銜創辦的、聚焦前沿科學研究的研究型大學,該校鼓勵科學家們探索AI與各學科交叉融合,為科研創新提速。為此,西湖大學在浪潮信息等企業助力下打造
    的頭像 發表于 12-12 15:59 ?153次閱讀
    西湖大學:<b class='flag-5'>科學家</b>+AI,科研新范式的樣本

    AI for Science:人工智能驅動科學創新》第4章-AI與生命科學讀后感

    了傳統學科界限,使得科學家們能夠從更加全面和深入的角度理解生命的奧秘。同時,AI技術的引入也催生了一種全新的科學研究范式,即數據驅動的研究范式,這種范式強調從大量數據中提取有價值的信息
    發表于 10-14 09:21

    正是拼的年紀|65歲電子工程師上班VLOG #65歲退休 #電子工程師 #搞笑 #上班vlog

    電子工程師
    安泰小課堂
    發布于 :2024年07月25日 11:31:02

    新華社:突破性成果!祝賀我國科學家成功研發這一傳感器!

    6月25日,新華社以《突破性成果!祝賀我國科學家》為標題,報道了由我國科學家研發的傳感器成果。 我國科學家研發高通道神經探針實現獼猴全腦尺度神經活動監測 神經探針是一種用來記錄神經活動的針狀電傳
    的頭像 發表于 06-27 18:03 ?485次閱讀
    新華社:突破性成果!祝賀我國<b class='flag-5'>科學家</b>成功研發這一傳感器!

    前OpenAI首席科學家創辦新的AI公司

    消息在業界引起了廣泛關注,因為蘇茨克維曾是OpenAI的聯合創始人及首席科學家,并在去年在OpenAI董事會上扮演了重要角色。
    的頭像 發表于 06-21 10:42 ?520次閱讀

    嵌入式軟件工程師和硬件工程師的區別?

    通常需要具備強大的問題解決能力,以及對新技術的學習和應用能力。他們的工作通常涉及到多個領域,如計算機科學、電子工程、機械工程等。 嵌入式硬件工程師 嵌入式硬件
    發表于 05-16 11:00

    本源量子參與的國家重點研發計劃青年科學家項目啟動會順利召開

    2024年4月23日,國家重點研發計劃“先進計算與新興軟件”重點專項“面向復雜物理系統求解的量子科學計算算法、軟件、應用與驗證”青年科學家項目啟動會暨實施方案論證會在合肥順利召開。該項目由合肥綜合性國家
    的頭像 發表于 05-11 08:22 ?683次閱讀
    本源量子參與的國家重點研發計劃青年<b class='flag-5'>科學家</b>項目啟動會順利召開

    大廠電子工程師常見面試題#電子工程師 #硬件工程師 #電路知識 #面試題

    電子工程師電路
    安泰小課堂
    發布于 :2024年04月30日 17:33:15

    谷歌DeepMind科學家欲建AI初創公司

    據知情人士透露,谷歌人工智能部門DeepMind的兩名杰出科學家Laurent Sifre和Karl Tuyls正在與投資者商討在巴黎成立一家新的人工智能初創公司的事宜。
    的頭像 發表于 01-22 14:41 ?486次閱讀

    飛騰首席科學家竇強榮獲 “國家卓越工程師” 稱號

    ? ? ?飛騰首席科學家竇強榮獲 “國家卓越工程師” 稱號 1月19日上午,首屆 “國家工程師獎” 表彰大會在北京人民大會堂隆重舉行。81 名個人被授予 “國家卓越工程師” 稱號,50
    的頭像 發表于 01-19 19:22 ?1715次閱讀
    飛騰首席<b class='flag-5'>科學家</b>竇強榮獲 “國家卓越<b class='flag-5'>工程師</b>” 稱號
    主站蜘蛛池模板: 野花日本手机观看大全免费3 | 国产成人在线视频观看| 麒麟色欧美影院在线播放| 99热久久爱五月天婷婷| 免费看成人毛片| 99亚偷拍自图区亚洲| 欧美成a人片免费看久久| 99免费在线观看视频| 欧美性爱 先锋影音| 成年免费三级视频| 乳色吐息在线观看全集免费观看| 成人性生交大片免费看金瓶七仙女 | 久久久久婷婷国产综合青草 | 免费精品一区二区三区AA片| 97免费视频在线| 欧美日韩亚洲第一区在线| 超碰人热人人热人人看| 色姣姣狠狠撩综合网| 国产精品女上位在线观看| 亚洲国产成人精品青青草原100| 国产最新地址| 一个人的视频全免费在线观看www| 久久午夜一区二区| 久久99AV无色码人妻蜜| WWW国产亚洲精品久久久日本| 中文字幕在线观看| 蜜臀AV浪潮99国产麻豆| VIDEOSGGRATIS欧美另类| 色久久一个亚洲综合网| 国产欧美日韩网站| 夜夜澡人人爽人人喊_欧美| 毛片网站在线观看| 被黑人群jian又粗又大H| 首页 国产 亚洲 中文字幕| 国产中文字幕免费观看| 原神美女被超污app| 欧美日韩1区| 国产精品成人影院| 一二三四高清中文版视频| 男同志在线观看| 国产成人精品视频播放|