近日,AMD在Huggingface平臺上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨特的推測解碼功能,吸引了業界的廣泛關注。
AMD-Llama-135m模型擁有6700億個token,并采用了Apache 2.0開源許可,為用戶提供了更多的靈活性和自由度。據AMD介紹,該模型主打“推測解碼”能力,這一功能的基本原理是通過使用一個小型草稿模型來生成一組候選token,然后由更大的目標模型對這些候選token進行驗證。這種方法不僅能夠確保生成的token的準確性和可靠性,而且允許每次前向傳遞生成多個token,從而顯著提高了效率。
與傳統的AI模型相比,AMD-Llama-135m在RAM占用方面也有了顯著的優化。由于采用了推測解碼技術,該模型能夠在不影響性能的前提下,減少RAM的占用,實現了更加高效的計算和存儲資源利用。
AMD-Llama-135m的發布,標志著AMD在AI領域邁出了重要的一步。未來,AMD將繼續致力于AI技術的研發和創新,為全球用戶提供更加智能、高效和可靠的解決方案。
-
amd
+關注
關注
25文章
5466瀏覽量
134097 -
AI
+關注
關注
87文章
30732瀏覽量
268893 -
模型
+關注
關注
1文章
3226瀏覽量
48809
發布評論請先 登錄
相關推薦
評論