一、分類器的選擇

如果訓練集很小，那么高偏差/低方差分類器（如樸素貝葉斯分類器）要優于低偏差/高方差分類器（如k近鄰分類器），因為后者容易過擬合。然而，隨著訓練集的增大，低偏差/高方差分類器將開始勝出（它們具有較低的漸近誤差），因為高偏差分類器不足以提供準確的模型。

你也可以認為這是生成模型與判別模型的區別。

一些特定算法的優點

樸素貝葉斯的優點：超級簡單，你只是在做一串計算。如果樸素貝葉斯（NB）條件獨立性假設成立，相比于邏輯回歸這類的判別模型，樸素貝葉斯分類器將收斂得更快，所以你只需要較小的訓練集。而且，e799bee5baa6e58685e5aeb即使NB假設不成立，樸素貝葉斯分類器在實踐方面仍然表現很好。如果想得到簡單快捷的執行效果，這將是個好的選擇。它的主要缺點是，不能學習特征之間的相互作用（比如，它不能學習出：雖然你喜歡布拉德·皮特和湯姆·克魯斯的電影，但卻不喜歡他們一起合作的電影）。

邏輯回歸的優點：有許多正則化模型的方法，你不需要像在樸素貝葉斯分類器中那樣擔心特征間的相互關聯性。與決策樹和支撐向量機不同，你還可以有一個很好的概率解釋，并能容易地更新模型來吸收新數據（使用一個在線梯度下降方法）。如果你想要一個概率框架（比如，簡單地調整分類閾值，說出什么時候是不太確定的，或者獲得置信區間），或你期望未來接收更多想要快速并入模型中的訓練數據，就選擇邏輯回歸。

決策樹的優點：易于說明和解釋（對某些人來說—我不確定自己是否屬于這個陣營）。它們可以很容易地處理特征間的相互作用，并且是非參數化的，所以你不用擔心異常值或者數據是否線性可分（比如，決策樹可以很容易地某特征x的低端是類A，中間是類B，然后高端又是類A的情況）。一個缺點是，不支持在線學習，所以當有新樣本時，你將不得不重建決策樹。另一個缺點是，容易過擬合，但這也正是諸如隨機森林（或提高樹）之類的集成方法的切入點。另外，隨機森林往往是很多分類問題的贏家（我相信通常略優于支持向量機），它們快速并且可擴展，同時你不須擔心要像支持向量機那樣調一堆參數，所以它們最近似乎相當受歡迎。

SVMs的優點：高準確率，為過擬合提供了好的理論保證，并且即使你的數據在基礎特征空間線性不可分，只要選定一個恰當的核函數，它們仍然能夠取得很好的分類效果。它們在超高維空間是常態的文本分類問題中尤其受歡迎。然而，它們內存消耗大，難于解釋，運行和調參也有些煩人，因此，我認為隨機森林正漸漸開始偷走它的“王冠”。

然而…

盡管如此，回憶一下，更好的數據往往打敗更好的算法，設計好的特征大有裨益。并且，如果你有一個龐大數據集，這時你使用哪種分類算法在分類性能方面可能并不要緊（所以，要基于速度和易用性選擇算法）。

重申我上面說的,如果你真的關心準確率,一定要嘗試各種各樣的分類器,并通過交叉驗證選擇最好的一個。或者，從Netflix Prize(和Middle Earth)中吸取教訓,只使用了一個集成方法進行選擇。

二、機器學習 比較分類器性能的基線是什么

一些基礎的分類器吧，譬如說J48，Logistic Regression，SVM，Naive Bayes，Random Forest等等。或者說和你提出的分類算法相關的，具有相類似原理的其他經典分類器。

三、分類器中可解釋性最弱的是？

分類是數據挖掘的一種非常重要的方法。分類的概念是在已有數據的基礎上學會一個分類函數或構造出一個分類模型（即我們通常所說的分類器(Classifier)）。該函數或模型能夠把數據庫中的數據紀錄映射到給定類別中的某一個，從而可以應用于數據預測。總之，分類器是數據挖掘中對樣本進行分類的方法的統稱，包含決策樹、邏輯回歸、樸素貝葉斯、神經網絡等算法。

分類器的構造和實施大體會經過以下幾個步驟：

選定樣本（包含正樣本和負樣本），將所有樣本分成訓練樣本和測試樣本兩部分。

在訓練樣本上執行分類器算法，生成分類模型。

在測試樣本上執行分類模型，生成預測結果。

根據預測結果，計算必要的評估指標，評估分類模型的性能。

幾種基本的分類器?

1.決策樹分類器

提供一個屬性集合，決策樹通過在屬性集的基礎上作出一系列的決策，將數據分類。這個過程類似于通過一個植物的特征來辨認植物。可以應用這樣的分類器來判定某人的信用程度，比如，一個決策樹可能會斷定“一個有家、擁有一輛價值在1.5 萬到2.3 萬美元之間的轎車、有兩個孩子的人”擁有良好的信用。決策樹生成器從一個“訓練集”中生成決策樹。SGI 公司的數據挖掘工具MineSet 所提供的可視化工具使用樹圖來顯示決策樹分類器的結構，在圖中，每一個決策用樹的一個節點來表示。圖形化的表示方法可以幫助用戶理解分類算法，提供對數據的有價值的觀察視角。生成的分類器可用于對數據的分類

四、基于規則的分類器有哪些

決策樹，隨機森林，Aprior