大數據好學嗎，需不需要有基礎，聽說這個工資比較高？
學習大數據需要以下幾個方面的基礎：
1、 編程語言基礎
2、 Linux系統的基本操作
3、 數據庫
4、 Hadoop架構基礎
5、 機器學習
一、編程語言基礎
新手學大數據，首先要具備的是編程語言基礎，如Java、C++等，要初步掌握面向對象、抽象類、接口、繼承、多態和數據流及對象流等基礎，編程語言在大數據中占據了不可逾越的地位，掌握一門編程語言再學習大數據會輕松很多，甚至編程語言要比大數據學習的時間更長。
二、Linux系統的基本操作
Linux系統的基本操作是大數據不可分割的一部分，大數據的組件都是在這個系統中跑的。重點是要學習一下Linux環境的搭建，搭建平臺有Ubuntu、Centos。內容包括系統配置、系統安裝、SSH、軟件安裝等。
三、數據庫
只要跟數據打交道就離不開數據庫，SQL語言是每個數據分析師必不可少的一項硬技能，當然，學習大數據SQL也是必經之路。
四、Hadoop架構設計
要學大數據，首先要了解的是如何在單臺Windows系統上通過虛擬機搭建多臺Linux虛擬機，從而構建Hadoop集群，再建立spark開發環境，完成大數據環境的配置搭建。也是學習大數據的第一步。
Hadoop生態體系HDFS分布式文件系統；MapReduce分布式計算模型；Yarn分布式資源管理器；Zookeeper分布式協調服務；Habse分布式數據庫；Hive分布式數據倉庫；Sqoop大數據遷移系統；Spark的基本應用等，是大數據生態圈的組件和作用。
五、機器學習
要使得大數據相關內容得到應用，則必然會涉及大量機器學習及算法的內容，發揮出大數據的優勢，讓你的辦公效率更快，更強。這也是大數據最大的優勢所在，使得計算機性能得到最大的利用。
以上我的回答希望對你有所幫助
hadoop開發和數據挖掘選哪個好
1、SparkVSHadoop有哪些異同點？Hadoop:分布式批處理計算，強調批處理，常用于數據挖掘、分析Spark:是一個基于內存計算的開源的集群計算系統，目的是讓數據分析更加快速,Spark是一種與Hadoop相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使Spark在某些工作負載方面表現得更加優越，換句話說，Spark啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。Spark是在Scala語言中實現的，它將Scala用作其應用程序框架。與Hadoop不同，Spark和Scala能夠緊密集成，其中的Scala可以像操作本地集合對象一樣輕松地操作分布式數據集。盡管創建Spark是為了支持分布式數據集上的迭代作業，但是實際上它是對Hadoop的補充，可以在Hadoop文件系統中并行運行。通過名為Mesos的第三方集群框架可以支持此行為。Spark由加州大學伯克利分校AMP實驗室(Algorithms,Machines,andPeopleLab)開發，可用來構建大型的、低延遲的數據分析應用程序。雖然Spark與Hadoop有相似之處，但它提供了具有有用差異的一個新的集群計算框架。首先，Spark是為集群計算中的特定類型的工作負載而設計，即那些在并行操作之間重用工作數據集（比如機器學習算法）的工作負載。為了優化這些類型的工作負載，Spark引進了內存集群計算的概念，可在內存集群計算中將數據集緩存在內存中，以縮短訪問延遲.在大數據處理方面相信大家對hadoop已經耳熟能詳，基于GoogleMap/Reduce來實現的Hadoop為開發者提供了map、reduce原語，使并行批處理程序變得非常地簡單和優美。Spark提供的數據集操作類型有很多種，不像Hadoop只提供了Map和Reduce兩種操作。比如map,filter,flatMap,sample,groupByKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多種操作類型，他們把這些操作稱為Transformations。同時還提供Count,collect,reduce,lookup,save等多種actions。這些多種多樣的數據集操作類型，給上層應用者提供了方便。各個處理節點之間的通信模型不再像Hadoop那樣就是唯一的DataShuffle一種模式。用戶可以命名，物化，控制中間結果的分區等。可以說編程模型比Hadoop更靈活.2、Spark在容錯性方面是否比其他工具更有優越性？從Spark的論文《ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing》中沒看出容錯性做的有多好。倒是提到了分布式數據集計算，做checkpoint的兩種方式，一個是checkpointdata，一個是loggingtheupdates。貌似Spark采用了后者。但是文中后來又提到，雖然后者看似節省存儲空間。但是由于數據處理模型是類似DAG的操作過程，由于圖中的某個節點出錯，由于lineagechains的依賴復雜性，可能會引起全部計算節點的重新計算，這樣成本也不低。他們后來說，是存數據，還是存更新日志，做checkpoint還是由用戶說了算吧。相當于什么都沒說，又把這個皮球踢給了用戶。所以我看就是由用戶根據業務類型，衡量是存儲數據IO和磁盤空間的代價和重新計算的代價，選擇代價較小的一種策略。取代給中間結果進行持久化或建立檢查點，Spark會記住產生某些數據集的操作序列。因此，當一個節點出現故障時，Spark會根據存儲信息重新構造數據集。他們認為這樣也不錯，因為其他節點將會幫助重建。3、Spark對于數據處理能力和效率有哪些特色？Spark提供了高的性能和大數據處理能力，使得用戶可以快速得到反饋體驗更好。另一類應用是做數據挖掘，因為Spark充分利用內存進行緩存，利用DAG消除不必要的步驟，所以比較合適做迭代式的運算。而有相當一部分機器學習算法是通過多次迭代收斂的算法，所以適合用Spark來實現。我們把一些常用的算法并行化用Spark實現，可以從R語言中方便地調用，降低了用戶進行數據挖掘的學習成本。Spark配有一個流數據處理模型，與Twitter的Storm框架相比，Spark采用了一種有趣而且獨特的法。Storm基本上是像是放入獨立事務的管道，在其中事務會得到分布式的處理。相反，Spark采用一個模型收集事務，然后在短時間內（我們假設是5秒）以批處理的方式處理事件。所收集的數據成為他們自己的RDD，然后使用Spark應用程序中常用的一組進行處理。作者聲稱這種模式是在緩慢節點和故障情況下會更加穩健，而且5秒的時間間隔通常對于大多數應用已經足夠快了。這種方法也很好地統一了流式處理與非流式處理部分。總結這幾天在看Hadoop權威指南、hbase權威指南、hive權威指南、大規模分布式存儲系統、zoopkeeper、大數據互聯網大規模數據挖掘與分布式處理等書同時補充，能靜下心來好好的完整的看完一本書，是相當不錯的。
