探索終端操作系統領域AI大模型創新趨勢 OpenHarmony技術大會OS原生智能分論壇召開
點擊藍字 ╳ 關注我們
開源項目 OpenHarmony是每個人的 OpenHarmony 11月4日，第二屆開放原子開源基金會OpenHarmony技術大會在北京圓滿舉辦。在下午舉辦的OS原生智能分論壇中，華為昇思MindSpore總架構師金雪鋒擔任出品人，華為AI大模型應用開發平臺架構師王磊擔任主持人，與來自華為、中軟國際有限公司、深圳市若芯科技有限公司等企業界技術領袖和來自清華大學、上海交通大學等學術界專家學者分享了各自領域在OpenHarmony生態中結合AI大模型相關技術如何進行技術創新、突破技術難題，并共同探討了未來AI大模型與終端操作系統相結合的技術發展趨勢，為共建OpenHarmony繁榮生態貢獻力量。
?OS原生智能分論壇出品人華為昇思MindSpore總架構師金雪鋒
?OS原生智能分論壇主持人華為AI大模型應用開發平臺架構師王磊
首先，來自清華大學的助理研究員李元春就《大模型驅動的終端智能代理》課題進行了報告分享，介紹了一種大模型驅動的智能個人代理系統的設計與實現，分享了如何通過對移動應用的自動分析和大模型知識嵌入，將應用內部的領域知識與大模型的常識知識有機結合，實現更準確高效的任務自動化。李元春指出，智能個人代理一直是終端系統研究人員和開發者關注的關鍵技術之一，然而由于用戶意圖理解、任務規劃、工具使用等能力的不足，目前智能個人代理的智能程度和可擴展性仍有較大缺陷。大語言模型的出現則解決了這些難點，李元春表示：“以大語言模型為代表的大模型的出現為該領域的發展帶來了嶄新的機遇，有望通過強大的語義理解和常識推理能力大大提升智能個人代理支持功能的廣度和深度。”
?清華大學助理研究員李元春主題分享
中軟國際有限公司智能物聯網軍團產品研發管理部總經理、OpenHarmony項目群技術指導委員會委員張兆生基于自身在大模型及端邊協同領域的深厚洞察，帶來了題為《視覺大模型在OpenHarmony的端邊云側應用》的報告。他指出，智能化時代，隨著大模型和算力底層技術的不斷完善，大模型部署在邊緣側與終端側成為必然趨勢。他高度肯定了OpenHarmony擔當數字底座的價值與意義，“OpenHarmony作為萬物互聯時代的技術底座，可以廣泛應用于多種算力場景，滿足了多連接、高實時和海量異構數據的業務需求，起到了向下發揮硬件算力，向上使能海量應用的作用。”在張兆生看來，以OpenHarmony為根基融合邊端大模型能力，構建端邊協同業務場景，可以為行業提供更有競爭力的創新解決方案，加速拓展生態。
?中軟國際有限公司智能物聯網軍團產品研發管理部總經理、OpenHarmony項目群技術指導委員會委員張兆生主題分享
華為小藝架構師周劍輝基于華為小藝在終端產品的智能化服務技術思考，帶來了《基于意圖框架的端側原生智能大模型生態建設探索》主題報告。這篇報告中提到，意圖框架是系統級的意圖標準體系，通過多維系統感知、大模型等能力構建全局意圖范式，實現對用戶顯性與潛在意圖的理解，并及時、準確地將用戶需求傳遞給生態伙伴，匹配合時宜的服務，為用戶提供多模態、個性化的進階場景體驗。
?華為小藝架構師周劍輝主題分享
上海交通大學計算機科學與工程系副教授鄭文立聚焦于機器學習方法，帶來《端邊云協同推理中的深度神經網絡動態分割》的報告。在端邊云環境下，為了匹配網絡負載與服務器負載的動態變化，鄭文立教授提出了基于機器學習的DNN分割優化算法，并將其實現在昇思MindSpore上，使之能在執行多種常見的CNN、RNN時自動調整它們跨端、邊/云兩側的分布，從而保持最低的推理延遲。同時，他還指出，“資源限制是邊緣計算面臨的主要挑戰，設法突破資源限制才能最大化邊緣優勢，使智能真正走進每個人的生活。”
?上海交通大學計算機科學與工程系副教授鄭文立主題分享
來自華為諾亞方舟實驗室的研究員侯璐則在現場分享了《大語言模型的壓縮加速和高效部署》，這一報告從架構設計、成本、吞吐、時延、長序列等方面介紹大語言模型在推理階段面臨的內存、訪存和計算的挑戰，以及模型和KV cache量化壓縮、融合大算子和投機式推理在大語言模型高效推理帶來的收益。
?華為諾亞方舟實驗室研究員侯璐主題分享
深圳市若芯科技有限公司CTO周芃帶來《無處不在的智能：端側類腦大模型的應用與解決方案》的演講，面向參會者介紹了面對大語言模型的算力開銷問題，以及如何采用類人腦處理信息的方式對Transformer架構進行改進。通過使用第三代神經網絡SNN搭建神經網絡，將網絡中的數據使用脈沖序列進行存儲和傳輸，在不影響網絡智能程度的同時，極大降低了推理開銷。周芃表示，“使用該項技術訓練的大模型，不僅做到同參數級別能耗、延時、算力要求最優，也成功具備了在消費級設備本地部署運行的能力。
?深圳市若芯科技有限公司CTO周芃主題分享
華為昇思MindSpore架構師李政結合MindSpore框架技術探索及實踐經驗，分享了《MindSpore端側大模型部署助力OS智能化》的報告，講解如何解決AI大模型的部署與應用挑戰。李政提到，“生成式AI大模型正悄然改變人們工作和生活，AI大模型與智能終端相結合勢必引發新的體驗。然而受終端設備算力和存儲制約，AI大模型端側部署面臨諸多挑戰”。他在報告中介紹了MindSpore在大模型端側部署及推理加速已展開的探索和相關技術思路，作為云端邊全場景訓推一體開源AI框架，MindSpore深度參與HarmonyOS AI智能業務場景的性能優化，大量落地華為手機、平板、手表、筆記本、智慧屏、智能車等終端產品。
?華為昇思MindSpore架構師李政主題分享
在OS原生智能分論壇的最后環節，由論壇主持人華為AI大模型應用開發平臺架構師王磊、出品人華為昇思MindSpore總架構師金雪鋒及演講嘉賓進行了主題為“端側大模型及應用的技術前沿挑戰及解決方案思路”的圓桌討論，進一步深入探討了OS原生智能下的AI應用架構和框架、模型訓推框架、模型架構及算法方面的技術構想和思路。
?OS原生智能分論壇圓桌討論：“端側大模型及應用的技術前沿挑戰及解決方案思路”
至此，第二屆OpenHarmony技術大會OS原生智能分論壇圓滿落幕。各位技術專家與業界大咖的分享，展示了OpenHarmony在原生智能領域的技術潛力與應用實踐，也展望了AI大模型與操作終端深度結合后，必將帶來大模型擴展能力邊界、終端設備更加智能的“雙贏”前景。而隨著越來越多原生智能領域的技術專家和行業精英加入OpenHarmony社區，也必將推動OpenHarmony生態枝繁葉茂。
原文標題：探索終端操作系統領域AI大模型創新趨勢 OpenHarmony技術大會OS原生智能分論壇召開
文章出處：【微信公眾號：OpenAtom OpenHarmony】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
鴻蒙
+關注
關注
57文章
2347瀏覽量
42827 -
OpenHarmony
+關注
關注
25文章
3718瀏覽量
16289 -
AI大模型
+關注
關注
0文章
315瀏覽量
306
原文標題：探索終端操作系統領域AI大模型創新趨勢 OpenHarmony技術大會OS原生智能分論壇召開
文章出處：【微信號：gh_e4f28cfa3159，微信公眾號：OpenAtom OpenHarmony】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
【書籍評測活動NO.53】鴻蒙操作系統設計原理與架構
輸贏的無畏實干。
在這種形勢下，鴻蒙操作系統突破重圍，脫穎而出，面向智能終端這一新興領域，打造既不受制于人又面向未來技術發展趨勢，既能應對復
發表于 12-16 15:10
世界互聯網大會聚焦：首屆AI OS烏鎮咖薈圓滿舉行，探討智能操作系統新未來
的前沿趨勢與創新，為全球科技領域帶來一場智慧交融的盛宴。會上，深開鴻CEO王成錄做了題為《重塑智能時代操作系統價值--當
OpenHarmony城市技術論壇第11期（香港站）【智能終端操作系統技術與國際化生態構建】大咖齊聚
OpenHarmony城市技術論壇——第11期（香港站） 【主題：智能終端操作系統技術與國際化生
第三屆OpenHarmony技術大會在上海成功舉辦
成長為全球最活躍的智能終端操作系統開源社區之一。同時他指出OpenHarmony也是一個高校和企業、和全社會協作融合，以產學研高效協同的創新
發表于 10-13 11:14
開啟全新AI時代 智能嵌入式系統快速發展——“第六屆國產嵌入式操作系統技術與產業發展論壇”圓滿結束
航空航天大學杭州創新研究院成功舉辦。本屆論壇有16位知名專家學者和120余位產學各界嘉賓參會，論壇圍繞“開啟全新AI時代、智能嵌入式
發表于 08-30 17:24
第六屆國產嵌入式操作系統技術與產業發展論壇議程發布
每年一度的國產嵌入式操作系統論壇即將在杭州濱江舉辦，今年是第六屆了，又是中國嵌入式系統新朋老友相聚的時刻。大模型催生AI走人千家萬戶、喚醒端側AI
發表于 07-26 10:54
HDC2024華為發布鴻蒙原生智能：AI與OS深度融合，開啟全新的AI時代
6月21日，華為開發者大會2024（HDC.2024）召開。 HarmonyOS NEXT將AI與OS深度融合，構筑全新鴻蒙原生
華為鴻蒙操作系統,引領行業新篇章
在昨日舉辦的華為開發者大會論壇上，華為終端BG軟件部總裁龔體發表了引人注目的演講，向全球開發者及業界同仁詳細解讀了華為自主研發的鴻蒙操作系統（HarmonyOS）的最新進展與成就。這場
OpenHarmony開發者大會2024即將召開
當前，開源技術已經成為推動科技創新的重要力量。在這一背景下，OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）項目以其獨特的開源理念和強大的生態吸引力，正逐
中科創達全球首發面向中央計算的AI原生整車操作系統—滴水OS
2024年4月26日，作為全球領先的智能操作系統及端側智能產品和技術提供商，中科創達在北京國際車展上全球首發面向中央計算的AI
聯想今年將發布AI OS操作系統
聯想正式宣布，將把AI PC和個人Agent作為2024年的核心業務推進重點，并計劃在今年內推出全新的“AI OS操作系統”以及一系列搭載此系統
OpenHarmony城市技術論壇——第6期（武漢站）圓滿舉辦
）于華中科技大學梧桐語問學中心明德報告廳圓滿舉辦。本次技術論壇從“終端操作系統十大技術挑戰”出發，將主題聚焦在“大模型時代的
工商網監
評論