一、如何評價spark的機器學習框架 和 tensorflow的機器學習系統

現在的深度學習過程是一個計算密集的過程。

然后就是深度學習理論很難也暫時沒有很完美的數學解釋，從2006年開始復蘇，才過去十年。

現在的理論解釋很多是用類比的方法，很直覺。舉個例子，dropout的論文里引用了一段生物學的知識，說的是有性生殖，lecun同學為了解釋深度學習不需要顧慮局部最小的問題，因為存在的概率很小，小到可以忽略，用的方法是公式大變形，將深度學習的公式換了個形式，同時加了幾個可能不太嚴格的條件，然后就可以用玻璃的統計物理學解釋來討論問題了！

這兩個系統會互相學習，但是現在看來，用spark來做深度學習訓練有點效率不太好

二、大數據好學嗎？去哪里學較好？

一：好學不好學其實分很多情況，要是有Java基礎的話相對來說容易一點，因為大數據涉及的Java內容也就是Javase這一方面，Javase對于大數據來說就是基礎部分，如果是沒有一點兒基礎，倒也不是學不會，只是相對于有基礎的會吃力一點兒。

二：再說去哪里學，我多少了解一點兒，因為身邊有很多朋友都參加過培訓，去過的地方有很多，首先行業內，干大數據的有很多，我就不說別的機構了，你可以關注一下海牛部落，這個還不錯，各方面設施，師資力量都不錯，而且還有自己的服務器集群。還是專業做大數據的。相對于別的來說，他還不錯。

三、2分鐘讀懂大數據框架Hadoop和Spark的異同

解決問題的層面不一樣

首先，Hadoop和Apache Spark兩者都是大數據框架，但是各自存在的目的不盡相同。Hadoop實質上更多是一個分布式數據基礎設施:

它將巨大的數據集分派到一個由普通計算機組成的集群中的多個節點進行存儲，意味著您不需要購買和維護昂貴的服務器硬件。

同時，Hadoop還會索引和跟蹤這些數據，讓大數據處理和分析效率達到前所未有的高度。Spark，則是那么一個專門用來對那些分布式存儲的大數據進行處理的工具，它并不會進行分布式數據的存儲。

兩者可合可分

Hadoop除了提供為大家所共識的HDFS分布式數據存儲功能之外，還提供了叫做MapReduce的數據處理功能。所以這里我們完全可以拋開Spark，使用Hadoop自身的MapReduce來完成數據的處理。

相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，畢竟它沒有提供文件管理系統，所以，它必須和其他的分布式文件系統進行集成才能運作。這里我們可以選擇Hadoop的HDFS,也可以選擇其他的基于云的數據系統平臺。但Spark默認來說還是被用在Hadoop上面的，畢竟，大家都認為它們的結合是最好的。

以下是天地會珠海分舵從網上摘錄的對MapReduce的最簡潔明了的解析，其中把人理解成計算機就好了:

我們要數圖書館中的所有書。你數1號書架，我數2號書架。這就是“Map”。我們人越多，數書就更快。

現在我們到一起，把所有人的統計數加在一起。這就是“Reduce”。

Spark數據處理速度秒殺MapReduce

Spark因為其處理數據的方式不一樣，會比MapReduce快上很多。MapReduce是分步對數據進行處理的:

”從集群中讀取數據，進行一次處理，將結果寫到集群，從集群中讀取更新后的數據，進行下一次的處理，將結果寫到集群，等等...“ Booz Allen

Hamilton的數據科學家Kirk Borne如此解析。

反觀Spark，它會在內存中以接近“實時”的時間完成所有的數據分析：“從集群中讀取數據，完成所有必須的分析處理，將結果寫回集群，完成，”

Born說道。Spark的批處理速度比MapReduce快近10倍，內存中的數據分析速度則快近100倍。

如果需要處理的數據和結果需求大部分情況下是靜態的，且你也有耐心等待批處理的完成的話，MapReduce的處理方式也是完全可以接受的。

但如果你需要對流數據進行分析，比如那些來自于工廠的傳感器收集回來的數據，又或者說你的應用是需要多重數據處理的，那么你也許更應該使用Spark進行處理。

大部分機器學習算法都是需要多重數據處理的。此外，通常會用到Spark的應用場景有以下方面：實時的市場活動，在線產品推薦，網絡安全分析，機器日記監控等。

四、Spark可以完全替代hadoop嗎

spark最大優勢在于是基于內存的分布式計算框架，在計算速度方面可甩hadoop好幾條街。天生就適合于多迭代的業務場景，在機器學習算法上能夠充分體現。另外，spark還支持準實時流式框架spark streaming，分布式查詢spark SQL、圖計算graph、機器學習ML、R語言等，能夠滿足整條業務線的需求，從獲取、處理、分析等提供支持，而不需再加入其它框架，這應該就是spark最大的野心：大一統。

在我看來，雖然基于內存是spark最大的優勢，但是也會造成有些業務場景無法滿足，如超大數據量的ETL。相反在這方面hadoop的mapreduce能夠很好地hold，所以spark可能不斷掠奪hadoop的領地，但是不可能完成替代hadoop。