伴隨高階自動駕駛技術發展,智能汽車車載傳感器數量越來越多,自動駕駛神經網絡模型算法復雜度越來越高,相關功能也越來越豐富,感知算法也從傳統的2D視覺向更先進的3D融合感知范式轉變,這在為客戶帶來更加安全的自動駕駛體驗的同時,對開發效率提出了更高的挑戰。怎么降低模型優化和適配的復雜性,提高開發效率和模型性能,已成為智能駕駛技術開發關鍵。
2024北京國際車展,黑芝麻智能展示了一套自研的開發工具BST-DAL(Deep-learning Acceleration Library),它是一個基于PyTorch的加速庫,支持在多種預訓練模型上使用,旨在簡化復雜任務的模型適配和優化,可顯著提高模型在華山、武當系列SoC芯片上的運行速度,用戶只需修改幾行代碼,提供一些基本的超參數,就可實現在自己的原始訓練環境中剪枝,降低整體開發成本。該庫支持模塊化設計和擴展性,通過統一API,用戶只需少量代碼即可輕松集成到訓練環境中。
多樣優化,輕松部署,運行效率提升
黑芝麻智能BST-DAL集成了多種優化算法,包括剪枝、量化、訓練、蒸餾和硬件匹配,支持主流模型結構如CNN、Transformer等,涵蓋分類、檢測、語義分割等多種任務。在訓練階段,BST-DAL可以自動尋找最佳模型配置,一鍵完成剪枝和量化,支持混合加速引擎和復雜模型拓撲,其核心功能包含:
黑芝麻智能山海開發工具鏈
剪枝(Pruning): 集成先進的SOTA剪枝算法,能夠自動確定最優剪枝策略,以滿足特定硬件需求,從而在保持模型精度的同時顯著減少計算和I/O開銷
量化(Quantization): 當前車載領域深度學習模型復雜多變,在異構硬件上量化繁瑣,部署過程中為了降低精度損失需投入大量精力。為了降低用戶量化部署開發成本,BST-DAL量化支持多引擎混合精度量化,用戶改動極少代碼即可在訓練環境中適配QAT功能
訓練(Training):采用模塊化設計,與PyTorch生態無縫對接,簡單易用,保證量化和剪枝后模型精度
蒸餾+硬件匹配(Distillation+Fitting): 結合蒸餾技術自動搜索最優輕量化模型結構,支持參數、layer剪枝和Transformer結構輕量化
性能與精度兼得,開發效率優化
黑芝麻智能BST-DAL深度學習加速庫工具,相比于眾多開源項目,擁有更快的收斂速度、更高的精度、更適應芯片特性的加速算法、更簡便的API及更友好的用戶體驗。
以華山系列A1000芯片為例為例,使用BST-DAL深度學習加速庫處理主流模型ResNet50、Yolov5和LaneAF,可以在保證剪枝后模型精度的同時,減少超過20%的I/O數據流,提升模型性能。
同時,使用BST-DAL的混合精度量化功能可以極大保證模型量化后精度,使其基本與原始浮點一致。
黑芝麻智能BST-DAL加速庫還有如下功能的亮點;
集成多種SOTA優化算法,在保證模型精度的同時提升模型性能,確保性能與精度兼得,使得模型在各種復雜任務和場景下都能表現出色。
DAL訓練模型可實現最高可達10倍的性能提升,同時維持模型精度,為大模型訓練和部署提供了更好的解決方案。
在PC端即可進行模型精度驗證,加速開發周期,開發者可以更快地進行模型迭代和調試,從而加快了產品上市速度和響應市場需求的能力 。
自動化的模型配置搜索,簡化了優化流程 ,降低了人工干預的需求,確保了模型的最佳性能和穩定性。
基于靜態圖的QAT量化,只需少量代碼即可實現,降低用戶使用量化工具的學習成本,提高了模型在嵌入式和移動設備上的部署效率。
支持混合加速引擎,可一次性對多段模型進行優化,更好地適應復雜任務和多模態數據處理需求 。
支持復雜的模型拓撲結構,特別是Transformer模型。 黑芝麻智能BST-DAL為深度學習研究者和開發者提供了一個全面、高效的解決方案,顯著降低了模型優化和適配的復雜性,同時提高了開發效率和模型性能。
全面賦能客戶,助力部署落地一體化流程
作為中國本土智能汽車芯片的供應商之一,黑芝麻智能深知軟硬協同的重要性,以“芯片+開發工具鏈”的配套模式支持客戶提升研發效率,降低綜合成本,加速產品量產。工具鏈及軟件是否完善是體現自動駕駛芯片易用性的重要指標。配合華山系列自動駕駛計算芯片,黑芝麻智能發布的山海開發工具鏈能夠提供全面的開發包及算法開發所需的可視化軟件工具,滿足模型量化、優化、編譯、仿真、部署、調試等各個開發環節的需要,并納入深度學習參考模型庫轉換用例,大幅降低算法開發門檻,幫助客戶進行靈活的模型遷移、部署和整合。目前,山海開發工具鏈已支持的算子數量已超過140個。
黑芝麻智能與合作伙伴最快僅耗時5周即完成了包含感知算法部署在內的所有上車適配工作的聯合開發,使用山海工具鏈可快速靈活適配第三方感知算法,配套技術開發團隊也有效提升了產品落地速度。得益于自主研發的IP核與通用計算加速的設計理念,山海工具鏈在逐步支持BEV和Transformer模型的部署和硬件加速,以支撐目前行業對無高精地圖、城市領航等功能的迫切需求。
審核編輯:劉清
-
神經網絡
+關注
關注
42文章
4773瀏覽量
100877 -
自動駕駛
+關注
關注
784文章
13845瀏覽量
166574 -
深度學習
+關注
關注
73文章
5506瀏覽量
121259 -
車載傳感器
+關注
關注
0文章
44瀏覽量
4367 -
黑芝麻智能
+關注
關注
1文章
146瀏覽量
3352
原文標題:黑芝麻智能BST-DAL深度學習加速庫:提升算法模型開發效率,釋放SOC極致性能
文章出處:【微信號:BlackSesameTech,微信公眾號:黑芝麻智能】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論