怎么通過(guò)機(jī)器學(xué)習(xí)得到統(tǒng)計(jì)數(shù)據(jù)

我的理解是這樣的：

1.人工智能：給機(jī)器賦予人類的智能，讓機(jī)器能夠像人類那樣獨(dú)立思考。當(dāng)然，目前的人工智能沒(méi)有發(fā)展到很高級(jí)的程度，這種智能與人類的大腦相比還是處于非常幼稚的階段，但目前我們可以讓計(jì)算機(jī)掌握一定的知識(shí)，更加智能化的幫助我們實(shí)現(xiàn)簡(jiǎn)單或復(fù)雜的活動(dòng)。

2.機(jī)器學(xué)習(xí)。通俗的說(shuō)就是讓機(jī)器自己去學(xué)習(xí)，然后通過(guò)學(xué)習(xí)到的知識(shí)來(lái)指導(dǎo)進(jìn)一步的判斷。舉個(gè)最簡(jiǎn)單的例子，我們訓(xùn)練小狗狗接飛碟時(shí)，當(dāng)小狗狗接到并送到主人手中時(shí)，主人會(huì)給一定的獎(jiǎng)勵(lì)，否則會(huì)有懲罰。于是狗狗就漸漸學(xué)會(huì)了接飛碟。同樣的道理，我們用一堆的樣本數(shù)據(jù)來(lái)讓計(jì)算機(jī)進(jìn)行運(yùn)算，樣本數(shù)據(jù)可以是有類標(biāo)簽的，并設(shè)計(jì)懲罰函數(shù)，通過(guò)不斷的迭代，機(jī)器就學(xué)會(huì)了怎樣進(jìn)行分類，使得懲罰最小。然后用學(xué)習(xí)到的分類規(guī)則進(jìn)行預(yù)測(cè)等活動(dòng)。

3.數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是一門(mén)交叉性很強(qiáng)的學(xué)科，可以用到機(jī)器學(xué)習(xí)算法以及傳統(tǒng)統(tǒng)計(jì)的方法，最終的目的是要從數(shù)據(jù)中挖掘到為我所用的知識(shí)，從而指導(dǎo)人們的活動(dòng)。所以我認(rèn)為數(shù)據(jù)挖掘的重點(diǎn)在于應(yīng)用，用何種算法并不是很重要，關(guān)鍵是能夠滿足實(shí)際應(yīng)用背景。而機(jī)器學(xué)習(xí)則偏重于算法本身的設(shè)計(jì)。

4.模式識(shí)別。我覺(jué)得模式識(shí)別偏重于對(duì)信號(hào)、圖像、語(yǔ)音、文字、指紋等非直觀數(shù)據(jù)方面的處理，如語(yǔ)音識(shí)別，人臉識(shí)別等，通過(guò)提取出相關(guān)的特征，利用這些特征來(lái)進(jìn)行搜尋我們想要找的目標(biāo)。

比較喜歡這方面的東西，一點(diǎn)膚淺的認(rèn)識(shí)，很高興與你交流。

機(jī)器學(xué)習(xí)中out of bag error怎么理解

訓(xùn)練數(shù)據(jù)集為 T ，具有M個(gè)特征

T = {(X1,y1), (X2,y2), ... (Xn, yn)}

Xi {xi1, xi2, ... xiM}，是輸入向量 yi 是標(biāo)簽.

隨機(jī)森林總結(jié):

隨機(jī)森林算法是一個(gè)分類器算法，主要基于兩種方法

Bagging

Random subspace method.

假設(shè)在森林中我們?cè)O(shè)定s棵樹(shù)，首先我們生成 S 個(gè)和原始數(shù)據(jù)集大小一致的數(shù)據(jù)集，采用放回的隨機(jī)抽樣方法 (也即，每生成一個(gè)數(shù)據(jù)集抽樣n次).最終產(chǎn)生 數(shù)據(jù)集T1,

T2, ... TS}. 每個(gè)數(shù)據(jù)集稱作一個(gè) bootstrap 數(shù)據(jù)集. 由于放回抽樣，每個(gè)數(shù)據(jù)集 Ti 中有重復(fù)數(shù)據(jù)，Ti 相比原始數(shù)據(jù)集，可能會(huì)缺少若干記錄.這稱為Bootstrapping. (en.wikipedia.org/wiki/Bootstrapping_(statistics))

Bagging 是進(jìn)行 bootstraps & 然后將每個(gè)從 bootstrap中學(xué)到的模型進(jìn)行集成的過(guò)程

現(xiàn)在, RF 生成 S 棵樹(shù)，m

(=sqrt(M) or =floor(lnM+1)) 隨機(jī)從M個(gè)特征中抽取子特征，來(lái)創(chuàng)建樹(shù). 這叫做隨機(jī)子空間方法（random subspace method）.

所以對(duì)每個(gè)Ti bootstrap 數(shù)據(jù)集，我們創(chuàng)建了一棵樹(shù) Ki. 如果你相對(duì)某些輸入數(shù)據(jù)進(jìn)行分類 D

= {x1, x2, ..., xM} ，你讓這些數(shù)據(jù)在每棵樹(shù)上都跑一遍，從而生成 S 個(gè)預(yù)測(cè)結(jié)果 (一棵樹(shù)有一個(gè)預(yù)測(cè)結(jié)果) ，表示為 Y

= {y1, y2, ..., ys}. 最終預(yù)測(cè)結(jié)果通過(guò)大多數(shù)投票策略決定.

Out-of-bag error:

在生成s個(gè)分類器后 (S棵樹(shù)), 對(duì)于原始訓(xùn)練集T中每個(gè)記錄 (Xi,yi) ,選擇所有不包括(Xi,yi) 的bootstrap數(shù)據(jù)集Tk.注意，這個(gè)子集，是一個(gè)boostrap 數(shù)據(jù)集所組成的集合，它們都不包含原始數(shù)據(jù)集中的某個(gè)特定記錄. 這個(gè)集合被稱作 out-of-bag 樣例. 共有n 個(gè)這樣的子集 (原始數(shù)據(jù)集 T中每行記錄對(duì)應(yīng)一個(gè)). OOB 分類器 使用的是Tk 上投票的累積，所以它們不包含 (xi,yi).

從另外一個(gè)角度來(lái)解釋oob方法如下：

每一棵樹(shù)都通過(guò)使用不同的 bootstrap 樣本.相比原始數(shù)據(jù)集，每個(gè) bootstrap數(shù)據(jù)集中大概有1/3的記錄沒(méi)有包括進(jìn)來(lái)，也就沒(méi)有在構(gòu)建第k棵樹(shù)時(shí)候使用.

對(duì)于構(gòu)建第k棵樹(shù)時(shí)候沒(méi)有用到的每條記錄，讓它們過(guò)一遍第k棵樹(shù)，進(jìn)而獲得一個(gè)分類.通過(guò)這種方法, 對(duì)任何一條記錄來(lái)說(shuō)，大概有1/3 的樹(shù)沒(méi)有用這條記錄來(lái)構(gòu)建，因而對(duì)這些樹(shù)可以進(jìn)行測(cè)試集上的數(shù)據(jù)分類。最終, 假設(shè) 類別j 是當(dāng)記錄n是oob時(shí)候，獲得投票最多的類別，j被錯(cuò)誤分類除以總記錄數(shù)n，就是 oob error estimate. 這在很多測(cè)試中被證明是無(wú)偏的[2].

Out-of-bag 估計(jì)的泛化錯(cuò)誤率是 out-of-bag classifier 在訓(xùn)練集上的錯(cuò)誤率。

那么它為什么重要? Breiman [1996b]在對(duì) bagged 分類器的錯(cuò)誤率估計(jì)研究中, 給出實(shí)證證據(jù)顯示，out-of-bag 估計(jì) 和使用與訓(xùn)練集大小一致的測(cè)試集所得到的錯(cuò)誤率一樣精確. 所以, 使用out-of-bag error 估計(jì)可以不在另外建立一個(gè)測(cè)試集.

參考網(wǎng)址：