Intel開源了基于Apache Spark的分布式深度學(xué)習(xí)框架BigDL。BigDL借助現(xiàn)有的Spark集群來運行深度學(xué)習(xí)計算,并簡化存儲在Hadoop中的大數(shù)據(jù)集的數(shù)據(jù)加載。
BigDL適用的應(yīng)用場景主要為以下三種:
1、直接在Hadoop/Spark框架下使用深度學(xué)習(xí)進(jìn)行大數(shù)據(jù)分析(即將數(shù)據(jù)存儲在HDFS、HBase、Hive等數(shù)據(jù)庫上);
2、在Spark程序中/工作流中加入深度學(xué)習(xí)功能;
3、利用現(xiàn)有的 Hadoop/Spark 集群來運行深度學(xué)習(xí)程序,然后將代碼與其他的應(yīng)用場景進(jìn)行動態(tài)共享,例如ETL(Extract、Transform、Load,即通常所說的數(shù)據(jù)抽取)、數(shù)據(jù)倉庫(data warehouse)、功能引擎、經(jīng)典機(jī)器學(xué)習(xí)、圖表分析等。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
數(shù)據(jù)存儲
-
AI
-
深度學(xué)習(xí)
相關(guān)推薦
BigDL是什么?BigDL有何功能?
發(fā)表于 09-23 07:17
用Linux和Apache Hadoop進(jìn)行云計算使用Linux 和 Hadoop 進(jìn)行分布式計算介紹Hadoop 框架.
發(fā)表于 03-31 15:23
?12次下載
本文主要分享英特爾和京東在基于Spark和BigDL的深度學(xué)習(xí)技術(shù)在搭建大規(guī)模圖片特征提取框架上的實戰(zhàn)經(jīng)驗。 圖像特征提取被廣泛地應(yīng)用于相似圖片檢索,去重等。在使用BigDL框架(下文即將提到)之前
發(fā)表于 12-05 16:14
?2850次閱讀
Step by step tutorial to get started with BigDL on Apache Spark*
發(fā)表于 10-23 06:54
?1.2w次閱讀
In this video, we will take a look at Long Short Term Memory (LSTM) and Recurrent neural network (RNN) with BigDL.
發(fā)表于 10-19 07:25
?1394次閱讀
Step by step tutorial to build a basic neural network model, train and evaluate the model – all with BigDL on Apache Spark*
發(fā)表于 10-17 03:10
?1350次閱讀
該視頻概述了Apache Spark *的BigDL分布式深度學(xué)習(xí)框架。
發(fā)表于 10-30 06:41
?3247次閱讀
Apache Spark上的分布式機(jī)器學(xué)習(xí)
發(fā)表于 11-05 06:31
?2913次閱讀
另一個基準(zhǔn)測試表明 Ignite Dataset 如何與分布式 Apache Ignite 集群協(xié)作。這是 Apache Ignite 作為 HTAP 系統(tǒng)的默認(rèn)用例,它使您能夠在每秒 10 Gb 的網(wǎng)絡(luò)集群上為單個客戶端實現(xiàn)每
發(fā)表于 03-28 16:09
?3727次閱讀
Apache與Weblogic的整合(電源技術(shù)論文錄用后可以改作者嗎)-Apache與Weblogic的整合? ? ? ? ? ? ? ? ? ? ? ?
發(fā)表于 08-31 11:24
?7次下載
Apache2+tomcat5.5集群及Apache負(fù)載均衡配置實例(新星電源技術(shù)有限公司)-Apache2+tomcat5.5集群及Apache負(fù)載均衡配置實例? ? ?
發(fā)表于 08-31 12:16
?2次下載
Linux的apache(ups電源技術(shù)轉(zhuǎn)讓)-Linux的apache,有需要的可以參考!
發(fā)表于 08-31 16:17
?1次下載
實時流數(shù)據(jù)處理框架Apache Edgent項目前身是Apache Quarks,是IBM于2016年捐贈給Apache軟件基金會的開源項目。
發(fā)表于 02-07 12:35
?6次下載
全球最大的開源軟件基金會 Apache 軟件基金會(以下簡稱 Apache)于美國時間 2022 年?6 月 16 日宣布,Apache Doris 成功從 Apache 孵化器畢業(yè),
發(fā)表于 06-17 14:08
?1005次閱讀
Apache Web 服務(wù)器在企業(yè)中廣泛用于托管其網(wǎng)站和 Web 應(yīng)用程序,Apache 服務(wù)器生成的原始日志提供有關(guān) Apache 服務(wù)器托管的網(wǎng)站如何處理用戶請求以及訪問您的網(wǎng)站時經(jīng)常遇到的錯誤的重要信息。
發(fā)表于 01-04 10:09
?832次閱讀
評論