色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

ChatGPT背后的開源AI框架Ray,現在值10億美元

人工智能與大數據技術 ? 來源:機器之心 ? 2023-04-14 11:03 ? 次閱讀

最近一段時間,文本生成的人工智能在互聯網上掀起了一陣風暴:ChatGPT 因為可以對人們能想到的幾乎任何問題提供非常詳細、近乎逼真的回答而受到追捧。大模型應用的出現讓人們對于 AI 技術突破充滿了信心,不過很少有人知道在其背后,一個分布式機器學習框架正為這場生成式 AI 革命提供動力。

分布式計算框架 Ray 來自 A16z 支持的初創公司 Anyscale,它是使 OpenAI 能夠強化其訓練 ChatGPT 等模型的關鍵。在 OpenAI 最近的所有大型語言模型背后都有 Ray 的身影 —— 它可能也會是 OpenAI 備受期待的 GPT-4 背后的框架。隨著大模型技術的不斷落地,業內人士認為通過生成接近人類的內容,一個價值數十億美元的產業正在形成。

在這一領域,Ray 是影響力最大的框架。在它出現之前,OpenAI 使用自定義工具集合來開發大模型。但 OpenAI 總裁 Greg Brockman 在今年早些時候的 Ray 峰會上就表示,隨著面臨的挑戰增多,該公司已轉而使用 Ray。

5c74616c-da65-11ed-bfe3-dac502259ad0.png

軟件公司 Weights & Biases 的 CEO Lukas Biewald 認為,Ray 已是 AI 世界中炙手可熱的后起之秀。「因為新工具出現,你可以在筆記本電腦和大型分布式服務器上運行相同代碼。這是巨大的改變,隨著模型變得更大,它的重要性也會隨之增加,」Biewald 表示。

十億美元的賭注

隨著技術的成熟,Ray 引來了資本市場的關注。Anyscale 的股權成為了一種稀缺的商品,據 Business Insider 報道,有知情人士稱,其最近一輪融資是 C 輪融資的延伸,估值超過 10 億美元,幾天內就結束了。

一些投資者將 Anyscale 描述為 Horowitz 充滿希望的「下一個 Databricks」—— 這個描述看來不無道理,因為這家初創公司的創始人之一 Ion Stoica 是市值 310 億美元的數據巨頭 Databricks 的聯合創始人。

「人工智能的發展速度令人難以置信,人們一直在嘗試新方法,」Anyscale 首席執行官 Robert Nishihara 表示。「ChatGPT 結合了此前大語言模型上的大量工作。在此基礎上,你需要擁有能夠實現靈活性、快速創新,并擴展不同算法和方法的基礎設施。」

由于像 ChatGPT 這樣熱門的新工具背后是越來越大的模型,科技公司不得不重新考慮從頭開始開發 AI 的方式。Ray 應運而生,使訓練這些龐大的模型變得更加容易,并且可以包含數千億個數據點,讓每個響應都具有準栩栩如生的感覺。

Ray 如何成為機器學習的首選工具

Ray 是一個基于內存共享的分布式計算框架,適用于細粒度的并行計算和異構計算,其提供了一個底層基礎架構,用于管理分配機器學習模型訓練工作的復雜任務。

在 2017 年,UC Berkeley 的研究人員首次提交了 Ray 的論文《 Ray: A Distributed Framework for Emerging AI Applications 》:

5c8c45ca-da65-11ed-bfe3-dac502259ad0.jpg

論文鏈接:https://arxiv.org/abs/1712.05889

GitHub:https://github.com/ray-project/ray

在該工作中,研究人員預測了下一代 AI 應用程序的形態:與環境存在連續的交互,并從交互動作中進行學習。這些應用必然越來越多地在動態環境中來完成任務,根據環境的變化作出反應,并執行一系列的動作來達到長期目標。這些特性對于運行環境性能和靈活性等方面提出了全新且苛刻的系統要求,因此研究者提出了基于分布式的 Ray 框架。

Ray 實現了統一接口,可以表達任務并行和基于參與者的計算,由單個動態執行引擎支持。為了滿足性能要求,Ray 采用分布式調度程序和分布式容錯存儲來管理系統的控制狀態。它是首個將訓練、仿真和服務統一起來的分布式計算框架,基于動態任務執行引擎統一了角色并行(actor)和任務并行(task)的計算,并保障了框架的高可擴展性和高容錯性。

5ca30b8e-da65-11ed-bfe3-dac502259ad0.jpg

Ray 的架構。

基于該工作,2019 年 12 月,UC Berkeley 的 Robert Nishihara、Philipp Moritz 和 Ion Stoica 以及伯克利教授 Michael I. Jordan 創立了 Anyscale,迄今為止該公司已融資 2.6 億美元。

機器學習從業者通常可以在自己的筆記本電腦上運行使用有限數據集的小型模型,例如預測用戶購買產品的簡單模型。然而,像 ChatGPT 這樣的超大型模型,筆記本電腦是行不通的,這些模型需要大量服務器來訓練。

使用大量設備訓練一個模型要面對一個重要挑戰 —— 在不同硬件上協調訓練。而 Ray 恰好解決了這個難題,它為從業者提供了一種將不同硬件作為一個單元來管理的機制,用于確定什么數據去哪里,處理故障等等,硬件種類橫跨谷歌云、AWS 和其他處理相同問題的產品組合。此外,Ray 還將其他語言中的一個關鍵編程概念「actor」擴展到 Python,眾所周知 Python 是機器學習程序的首選語言。

5cc3a9b6-da65-11ed-bfe3-dac502259ad0.gif

作為一個分布式計算框架,Ray 有兩個關鍵優勢,分別是位置感知(Locality-aware)和任務分配(task placement)。如下圖所示,Ray 能夠橫向擴展系統,以支持高吞吐量的細粒度任務,同時保持容錯和低延遲任務調度。

5cda964e-da65-11ed-bfe3-dac502259ad0.png

Ray 為 OpenAI 訓練大模型消除了巨大的復雜性,為該公司騰出更多時間和精力專注于模型的關鍵能力。

新一代 AI 需要新的開發工具,Ray 只是一系列迅速興起的下一代機器學習工具中的一個,這些工具正在迅速顛覆 AI 的開發方式。例如,Google 的 JAX 框架也獲得了巨大關注,JAX 有望成為谷歌核心機器學習工具的支柱,已經在 DeepMind 和 Google Brain 被廣泛采用。

類似地,由 FirstMark Capital 和 Bessemer Venture Partners 支持的初創公司 Coiled 開發了一個名為 Dask 的并行計算框架。

近來大型語言模型正在釋放更多潛力,這些新型機器學習工具將為業內科技巨頭和初創公司構建更強大的語言模型。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1791

    文章

    47185

    瀏覽量

    238267
  • 機器學習
    +關注

    關注

    66

    文章

    8407

    瀏覽量

    132567
  • OpenAI
    +關注

    關注

    9

    文章

    1079

    瀏覽量

    6483

原文標題:ChatGPT背后的開源AI框架Ray,現在值10億美元

文章出處:【微信號:TheBigData1024,微信公眾號:人工智能與大數據技術】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    AI初創公司SandboxAQ尋求超50美元融資

    AI初創公司SandboxAQ近日宣布,正尋求按超過50美元的估進行新一輪股權融資。這家融合了AI與量子物理學技術的創新企業,專注于開發
    的頭像 發表于 10-21 15:44 ?440次閱讀

    AI初創公司DevRev獲1美元融資,估躍升至11.5美元

    融資后,DevRev的估飆升至驚人的11.5美元,彰顯了市場對AI在企業支持領域創新應用的巨大信心。
    的頭像 發表于 08-14 17:17 ?614次閱讀

    Cohere獲5美元D輪融資,估飆升至55美元

    的領先地位。此次融資后,Cohere的估飆升至驚人的55美元,標志著它已成為全球范圍內最具價值的AI公司之一。
    的頭像 發表于 07-24 18:05 ?1357次閱讀

    Cohere融資5美元,加速AI賽道競爭步伐

    和Anthropic等競爭的底氣。此次融資后,Cohere的估飆升至55美元,標志著其成為全球AI領域最具價值的初創公司之一。
    的頭像 發表于 07-23 14:38 ?528次閱讀

    思科將向AI初創公司投資10美元

    思科近日宣布,計劃向專注于“安全可靠”人工智能服務的初創公司投資10美元,以進一步鞏固其在AI技術領域的地位。作為這一戰略的一部分,思科已承諾約2
    的頭像 發表于 06-07 09:39 ?574次閱讀

    智譜AI獲沙特基金4美元投資,估達30美元

    近日,沙特阿美石油集團旗下的風險投資部門Prosperity7宣布,已參與國內知名AI企業智譜AI的約4美元融資。Prosperity7管理著一只高達30
    的頭像 發表于 06-04 14:51 ?681次閱讀

    人工智能初創企業Scale AI融資10美元

    近日,人工智能領域的初創翹楚Scale AI宣布在F輪融資中成功籌集到10美元,使得其估達到了驚人的138
    的頭像 發表于 05-24 09:22 ?647次閱讀

    AI創企Scale AI融資10美元,估138

    人工智能領域的明星初創企業Scale AI近日宣布,公司已完成F輪融資,成功籌集10美元,其估也躍升至驚人的138
    的頭像 發表于 05-22 11:18 ?761次閱讀

    Mistral AI將達成約6美元融資協議

    法國AI領域的佼佼者Mistral AI近日宣布,即將完成一筆高達6美元的融資協議。此輪融資不僅將Mistral AI的估
    的頭像 發表于 05-11 10:15 ?367次閱讀

    IBM已同意收購HashiCorp 估64美元

    IBM已同意收購HashiCorp 估64美元 IBM公司計劃以每股35美元的價格收購云軟件開發商HashiCorp,支付方式為現金,預計將在2024年底之前完成。這家總部位于舊金
    的頭像 發表于 04-25 16:36 ?537次閱讀

    在FPGA設計中是否可以應用ChatGPT生成想要的程序呢

    當下AI人工智能崛起,很多開發領域都可看到ChatGPT的身影,FPGA設計中,是否也可以用ChatGPT輔助設計呢?
    發表于 03-28 23:41

    AI獨角獸Cohere尋求新一輪融資,目標估達50美元

    加拿大AI領軍企業Cohere,作為OpenAI的有力競爭者,近日正在積極尋求新一輪的融資。據悉,該公司的目標是以高達50美元的估籌集5
    的頭像 發表于 03-26 11:25 ?612次閱讀

    OpenAI要約收購協議已完成 OpenAI估超800美元

    OpenAI要約收購協議已完成 OpenAI估超800美元 目前OpenAI要約收購協議已完成,公司估高達800
    的頭像 發表于 02-18 18:19 ?1165次閱讀

    XREAL完成6000萬美元戰略融資,估10美元

    近日,AR眼鏡品牌XREAL宣布已完成新一輪6000萬美元的戰略融資。這一融資使得XREAL的總融資額達到了3美元,而據行業分析機構的評估,XREAL目前的估值更是超過了10
    的頭像 發表于 02-06 16:29 ?2706次閱讀

    印度廠商Yotta采購10美元英偉達AI芯片

    印度數據中心運營商Yotta近日宣布,計劃從合作伙伴英偉達(Nvidia)額外訂購價值5美元AI芯片,使得訂單總額達到10
    的頭像 發表于 01-12 15:09 ?905次閱讀
    主站蜘蛛池模板: 国产香蕉尹人视频在线| 最新影音先锋av资源台| 国产 日韩 欧美 高清 亚洲| 国产精品一区二区三区四区五区| 9久久99久久久精品齐齐综合色圆| 国产成人在线免费观看| 男人国产AV天堂WWW麻豆| 亚洲AV午夜福利精品香蕉麻豆| 99热这里只有精品6| 国产精品国产三级国产专区53| 国产成人精品123区免费视频| 麻豆高清免费国产一区| 亚洲AV福利天堂一区二区三| FREE性丰满白嫩白嫩的HD| 久久国产主播福利在线| 午夜办公室在线观看高清电影| 92电影网午夜福利| 久久黄色免费网站| 亚洲精品123区在线观看| 国产AV午夜精品一区二区入口 | 国产精品JIZZ在线观看A片| 久久久精品久久久久三级| 日本漫画之无彩翼漫画| 99国产精品久久久久久久日本竹| 久久精品99国产精品日本| 亚洲福利区| 国产精品久久久久久人妻精品流 | 亚洲色图在线观看视频| 亚洲高清国产拍精品影院| free18sex性自拍裸舞| 免费观看的毛片| 99久久e免费热视频百度| 女性露出奶头流出精子| MD传媒在线观看佳片| 国产精品18久久久久久欧美| 美女扒开尿口直播| 一本道的mv中文字幕| 精品午夜寂寞影院在线观看| 亚洲精品国产高清不卡在线 | 欧美亚洲韩日午夜| 91传媒蜜桃香蕉在线观看|