BigDL是基于Apache Spark的分布式深度學(xué)習(xí)框架,借助現(xiàn)有的Spark集群來運(yùn)行深度學(xué)習(xí)計(jì)算,并簡化存儲在Hadoop中的大數(shù)據(jù)集的數(shù)據(jù)加載。
1、豐富的深度學(xué)習(xí)支持。模擬Torch之后,BigDL為深入學(xué)習(xí)提供全面支持,包括數(shù)字計(jì)算(通過Tensor)和高級神經(jīng)網(wǎng)絡(luò) ; 此外,用戶可以使用BigDL將預(yù)先訓(xùn)練好的Caffe或Torch模型加載到Spark程序中。
2、極高的性能。為了實(shí)現(xiàn)高性能,BigDL在每個(gè)Spark任務(wù)中使用英特爾MKL和多線程編程。因此,在單節(jié)點(diǎn)Xeon(即與主流GPU 相當(dāng))上,它比開箱即用開源Caffe,Torch或TensorFlow快了數(shù)量級。
3、有效地橫向擴(kuò)展。BigDL可以通過利用Apache Spark(快速分布式數(shù)據(jù)處理框架),以及高效實(shí)施同步SGD和全面減少Spark的通信,從而有效地?cái)U(kuò)展到“大數(shù)據(jù)規(guī)模”上的數(shù)據(jù)分析
-
英特爾
+關(guān)注
關(guān)注
61文章
9953瀏覽量
171705 -
AI
+關(guān)注
關(guān)注
87文章
30763瀏覽量
268914 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8884瀏覽量
137409 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5500瀏覽量
121118
發(fā)布評論請先 登錄
相關(guān)推薦
評論