一、數據挖掘的起源

需要是發明之母。近年來，數據挖掘引起了信息產業界的極大關注，其主要原因是存在大量數據，可以廣泛使用，并且迫切需要將這些數據轉換成有用的信息和知識。獲取的信息和知識可以廣泛用于各種應用，包括商務管理，生產控制，市場分析，工程設計和科學探索等。

數據挖掘利用了來自如下一些領域的思想：(1) 來自統計學的抽樣、估計和假設檢驗，(2)人工智能、模式識別和機器學習的搜索算法、建模技術和學習理論。數據挖掘也迅速地接納了來自其他領域的思想，這些領域包括最優化、進化計算、信息論、信號處理、可視化和信息檢索。一些其他領域也起到重要的支撐作用。特別地，需要數據庫系統提供有效的存儲、索引和查詢處理支持。源于高性能（并行）計算的技術在處理海量數據集方面常常是重要的。分布式技術也能幫助處理海量數據，并且當數據不能集中到一起處理時更是至關重要。

二、請問rdd是什么意思

彈性分布式數據集（RDD，Resilient Distributed Datasets），它具備像MapReduce等數據流模型的容錯特性，并且允許開發人員在大型集群上執行基于內存的計算。現有的數據流系統對兩種應用的處理并不高效：一是迭代式算法，這在圖應用和機器學習領域很常見；二是交互式數據挖掘工具。這兩種情況下，將數據保存在內存中能夠極大地提高性能。為了有效地實現容錯，RDD提供了一種高度受限的共享內存，即RDD是只讀的，并且只能通過其他RDD上的批量操作來創建。盡管如此，RDD仍然足以表示很多類型的計算，包括MapReduce和專用的迭代編程模型（如Pregel）等。我們實現的RDD在迭代計算方面比Hadoop快20多倍，同時還可以在5-7秒內交互式地查詢1TB數據集。

三、大數據挖掘通常用哪些軟件

1.RapidMiner

只要是從事開源數據挖掘相關的業內人士都知道，RapidMiner在數據挖掘工具榜上虎踞榜首，叫好叫座。是什么讓RapidMiner得到如此厚譽呢?首先，RapidMiner功能強大，它除了提供優秀的數據挖掘功能，還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是，它還提供來自WEKA(一種智能分析環境)和R腳本的學習方案、模型和算法，讓它成為業界的一棵常春藤。

用Java語言編寫的RapidMiner，是通過基于模板的框架為用戶提供先進的分析技術的。它最大的好處就是，作為一個服務提供給用戶，而不是一款本地軟件，用戶無需編寫任何代碼，為用戶尤其是精于數據分析但不太懂編程的用戶帶來了極大的方便。

2.R-Programming

R語言被廣泛應用于數據挖掘、開發統計軟件以及數據分析中。你以為大名鼎鼎的R只有數據相關功能嗎?其實，它還提供統計和制圖技術，包括線性和非線性建模，經典的統計測試，時間序列分析、分類、收集等等。

R，R-programming的簡稱，統稱R。作為一款針對編程語言和軟件環境進行統計計算和制圖的免費軟件，它主要是由C語言和FORTRAN語言編寫的，并且很多模塊都是由R編寫的，這是R一個很大的特性。而且，由于出色的易用性和可擴展性，也讓R的知名度在近年來大大提高了，它也逐漸成為數據人常用的工具之一。

3.WEKA

WEKA支持多種標準數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特征選取，由于功能多樣，讓它能夠被廣泛使用于很多不同的應用——包括數據分析以及預測建模的可視化和算法當中。它在GNU通用公共許可證下是免費的，這也是它與RapidMiner相比的優勢所在，因此，用戶可以按照自己的喜好選擇自定義，讓工具更為個性化，更貼合用戶的使用習慣與獨特需求。

很多人都不知道，WEKA誕生于農業領域數據分析，它的原生的非Java版本也因此被開發了出來。現在的WEKA是基于Java版本的，比較復雜。令人欣喜的是，當它日后添加了序列建模之后，將會變得更加強大，雖然目前并不包括在內。但相信隨著時間的推移，WEKA一定會交出一張很好看的成績單。

4.Orange

對很多數據人來說，Orange并不是一個陌生的名字，它不僅有機器學習的組件，還附加有生物信息和文本挖掘，可以說是充滿了數據分析的各種功能。而且，Orange的可視化編程和Python腳本如行云流水，定能讓你擁有暢快的使用感。

Orange是一個基于Python語言的功能強大的開源工具，如果你碰巧是一個Python開發者，當需要找一個開源數據挖掘工具時，Orange必定是你的首選，當之無愧。無論是對于初學者還是專家級大神來說，這款與Python一樣簡單易學又功能強大的工具，都十分容易上手。

5.NLTK

著名的開源數據挖掘工具——NLTK，提供了一個語言處理工具，包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務，因此，在語言處理任務領域中，它一直處于不敗之地。

想要感受這款深受數據人喜愛的工具的用戶，只需要安裝NLTK，然后將一個包拖拽到最喜愛的任務中，就可以繼續葛優癱N日游了，高智能性也是這款工具受人喜愛的最大原因之一。另外，它是用Python語言編寫的，用戶可以直接在上面建立應用，還可以自定義小任務，十分便捷。

6.KNIME

KNIME是一個開源的數據分析、報告和綜合平臺，同時還通過其模塊化數據的流水型概念，集成了各種機器學習的組件和數據挖掘。我們都知道，提取、轉換和加載是數據處理最主要的三個部分，而這三個部分，KNIME均能出色地完成。同時，KNIME還為用戶提供了一個圖形化的界面，以便用戶對數據節點進行進一步的處理，十分貼心。

基于Eclipse，用Java編寫的KNIME擁有易于擴展和補充插件特性，還有可隨時添加的附加功能。值得一提的是，它的大量的數據集成模塊已包含在核心版本中。良好的性能，更讓KNIME引起了商業智能和財務數據分析的注意。