Apache Spark的分布式深度學(xué)習(xí)框架BigDL的概述
BigDL是基于Apache Spark的分布式深度學(xué)習(xí)框架，借助現(xiàn)有的Spark集群來運(yùn)行深度學(xué)習(xí)計(jì)算，并簡化存儲(chǔ)在Hadoop中的大數(shù)據(jù)集的數(shù)據(jù)加載。BigDL在每個(gè)Spark任務(wù)中使用英特爾MKL和多線程編程。因此，在單節(jié)點(diǎn)Xeon（即與主流GPU 相當(dāng)）上，它比開箱即用開源Caffe，Torch或TensorFlow快了數(shù)量級(jí)。BigDL可以通過利用Apache Spark（快速分布式數(shù)據(jù)處理框架），以及高效實(shí)施同步SGD和全面減少Spark的通信，從而有效地?cái)U(kuò)展到“大數(shù)據(jù)規(guī)模”上的數(shù)據(jù)分析
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
-
gpu
+關(guān)注
關(guān)注
28文章
4729瀏覽量
128878 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8882瀏覽量
137389 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5500瀏覽量
121100
發(fā)布評(píng)論請先 登錄
相關(guān)推薦
大數(shù)據(jù)分析中Spark，Hadoop，Hive框架該用哪種開源分布式系統(tǒng)
眾所周知，大數(shù)據(jù)開發(fā)和分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘中，都離不開各種開源分布式系統(tǒng)。最常見的就是 Hadoop、Hive、Spark這三個(gè)框架了。最近不少朋友有問到關(guān)于這些的問題： 大廠里還
RDMA技術(shù)在Apache Spark中的應(yīng)用
背景介紹 在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，Apache?Spark已經(jīng)成為了處理大規(guī)模數(shù)據(jù)集的首選框架。作為一個(gè)開源的分布式計(jì)算系統(tǒng)，Spark因其高
Hadoop的整體框架組成
Hadoop是一個(gè)用Java編寫的Apache開源框架，允許使用簡單的編程模型跨計(jì)算機(jī)集群分布式處理大型數(shù)據(jù)集。Hadoop框架工作的應(yīng)用程序在跨計(jì)算機(jī)集群提供
發(fā)表于 05-11 16:00
hadoop和spark的區(qū)別
處理的工具，spark本身并不會(huì)進(jìn)行分布式數(shù)據(jù)的存儲(chǔ)。2、兩者的部署：Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)
發(fā)表于 11-30 15:51
HarmonyOS分布式應(yīng)用框架深入解讀
KB級(jí)到GB級(jí)設(shè)備）。針對上述挑戰(zhàn)，HarmonyOS作為一款面向萬物互聯(lián)時(shí)代的、全新的分布式操作系統(tǒng)，將迎刃而解，這得益于HarmonyOS的分布式應(yīng)用框架，這些多設(shè)備組成一個(gè)超級(jí)終端，充分發(fā)揮
發(fā)表于 11-22 15:15
如何使用Apache Spark 2.0
，Spark 2.0現(xiàn)在比以往更易使用。在這部分，我將介紹如何使用Apache Spark 2.0。并將重點(diǎn)關(guān)注DataFrames作為新Dataset API的無類型版本。 到Spark
發(fā)表于 09-28 19:00
?0次下載
基于Spark和BigDL的深度學(xué)習(xí)技術(shù)的案例解析
本文主要分享英特爾和京東在基于Spark和BigDL的深度學(xué)習(xí)技術(shù)在搭建大規(guī)模圖片特征提取框架上的實(shí)戰(zhàn)經(jīng)驗(yàn)。 圖像特征提取被廣泛地應(yīng)用于相似
發(fā)表于 12-05 16:14
?2849次閱讀
Spark分布式下的模糊C均值算法
針對聚類算法需要處理數(shù)據(jù)集的規(guī)模越來越大、時(shí)效性要求越來越高，對算法的大數(shù)據(jù)適應(yīng)能力和性能要求更高的問題，提出一種在Spark分布式內(nèi)存計(jì)算平臺(tái)下的模糊C均值（FCM）算法Spark-FCM。首先
發(fā)表于 12-23 09:59
?0次下載
spark和hadoop的區(qū)別
Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解
Apache Spark上的分布式機(jī)器學(xué)習(xí)的介紹
Apache Spark上的分布式機(jī)器學(xué)習(xí)
盤點(diǎn)分布式存儲(chǔ)系統(tǒng)的主流框架
整個(gè)大數(shù)據(jù)處理的體系，按我的理解可以分為兩個(gè)部分，一個(gè)是分布式存儲(chǔ)系統(tǒng)、另一個(gè)是分布式計(jì)算框架。分布式存儲(chǔ)系統(tǒng)主流是HadoopDFS，其他還有Ceph和Swift。
發(fā)表于 08-06 09:07
?2650次閱讀
一文詳細(xì)了解APACHE SPARK開源框架
Apache Spark 是一個(gè)開源框架，適用于跨集群計(jì)算機(jī)并行處理大數(shù)據(jù)任務(wù)。它是在全球廣泛應(yīng)用的分布式處理框架之一。
APACHE MXNET深度學(xué)習(xí)框架的概念、工作原理及用例
Apache MXNet 是一個(gè)靈活且可擴(kuò)展的深度學(xué)習(xí)框架，支持多種深度學(xué)習(xí)模型、編程語言，并且
工商網(wǎng)監(jiān)
評(píng)論