這個項目名為MLC LLM,與之前的WebLLM同出自知名學者陳天奇團隊。
截止目前已在GitHub上斬獲超6800星。
目前可以測試的模型有羊駝家族(基于LLaMA)的RedPajama和Vicuna。
可選模型參數分別為30億和70億,與很多在線Demo規模也相當了。
RedPajama團隊表示,這一成果打開了大模型私有化部署的可能性。
話不多說,快來看看體驗如何。
文字功底尚可,但理科是短板
我們選擇了其中的Vicuna模型進行測試。
首先測試一下它的文學造詣,于是讓它為四個季節分別寫了一首詩。
韻律嗎,基本上是兩三句一押。
除了詩歌,故事也能創作,甚至還能寫出內心戲來。
不只是愛情,其他類型的故事也難不倒它。
除了文學上的應用,我們不妨再來試試它的實用功能。
我們讓它生成了一道夏威夷披薩的菜譜,看上去還蠻不錯。
旅游計劃也可以讓它來安排。
我們再來看看它在理工科上的表現怎么樣。
首當其沖的是代碼,我們讓它嘗試用Python寫了一段尋找最大數的代碼。
想不到上來就是一通枚舉……不過結果倒也是符合要求。
defmax_of_three(num1,num2,num3):
ifnum1>num2andnum1>num3:
returnnum1
elifnum2>num1andnum2>num3:
returnnum2
elifnum3>num1andnum3>num2:
returnnum3
returnNone
num1=11
num2=45
num3=14
max_value=max_of_three(num1,num2,num3)
print("Themaximumvalueis:",max_value)
不過遇到稍難的問題,它的編程能力就有些捉襟見肘了。
至于數學和邏輯推理則一言難盡,不過畢竟為適配手機參數有限,倒也情有可原。
我們還試了試用中文進行提問,但發現目前對中文的適配還有些問題。
另外,移動APP目前還不具有保存聊天記錄功能,切出界面時一定要小心小心再小心。
雖然目前能在手機上跑的大模型能力還有限,但團隊也展示了未來更多發展方向。
比如為用戶定制模型并與云端公共基礎模型交互、提供離線支持、App嵌入、去中心化等等。
如何安裝
這款大模型支持iOS、安卓移動設備,以及Windows和Mac
iOS用戶可以先安裝好TestFlight,然后從下面的傳送門申請測試:
傳送門:https://testflight.apple.com/join/57zd7oxa
如果名額已滿,也可以用GitHub上的代碼自行編譯安裝
傳送門:https://github.com/mlc-ai/mlc-llm
安卓用戶直接下載apk安裝即可,第一次運行時需聯網下載數據包。
傳送門:https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk
桌面用戶請參閱官方教程:
傳送門:https://mlc.ai/mlc-llm/
-
iPhone
+關注
關注
28文章
13460瀏覽量
201661 -
大模型
+關注
關注
2文章
2423瀏覽量
2645
原文標題:我在iPhone上裝了70億參數大模型,來自陳天奇團隊最新成果
文章出處:【微信號:玩轉VS Code,微信公眾號:玩轉VS Code】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論