一、畢業(yè)設(shè)計(jì)需要搞SVM分類(lèi)算法的比較，都有哪些改進(jìn)的SVM算法呢？
比如LSVM，BT-SVM，NLSVM，PSVM等
二、svm 和 deep learning 的區(qū)別
svm 和 deep learning 的區(qū)別如下：
一.svm
1.英 ['esv'i:'em] 美 ['esv'i:'em]
詞典意思為：
[醫(yī)][=seminal vesicle microsome]精囊微粒體
網(wǎng)絡(luò)意思為：
支持向量機(jī); 空間矢量調(diào)制; 支撐向量機(jī)
2.例句：The results of simulation and experiment verify the effectiveness of the proposedSVMs.
仿真和實(shí)驗(yàn)結(jié)果都證明了這兩種SVM的有效性。
二.deep learning
1.網(wǎng)絡(luò)意思為：
機(jī)器學(xué)習(xí); 深層學(xué)習(xí); 深度學(xué)習(xí); 學(xué)習(xí)
2.例句：
He's a man of deep learning.
他是個(gè)學(xué)問(wèn)淵深的人。
三、關(guān)于SVM研究的熱點(diǎn)和難點(diǎn)是什么
支持向量機(jī)的發(fā)展
自從90年代初經(jīng)典SVM的提出，由于其完整的理論框架和在實(shí)際應(yīng)用中取得的很多好的效果，在機(jī)器學(xué)習(xí)領(lǐng)域受到了廣泛的重視。其理論和應(yīng)用在橫向和縱向上都有了發(fā)展。
理論上：1.模糊支持向量機(jī)，引入樣本對(duì)類(lèi)別的隸屬度函數(shù)，這樣每個(gè)樣本對(duì)于類(lèi)別的影響是不同的，這種理論的應(yīng)用提高了SVM的抗噪聲的能力，尤其適合在未能完全揭示輸入樣本特性的情況下。
2．最小二乘支持向量機(jī)。這種方法是在1999年提出，經(jīng)過(guò)這幾年的發(fā)展，已經(jīng)應(yīng)用要很多相關(guān)的領(lǐng)域。研究的問(wèn)題已經(jīng)推廣到：對(duì)于大規(guī)模數(shù)據(jù)集的處理；處理數(shù)據(jù)的魯棒性；參數(shù)調(diào)節(jié)和選擇問(wèn)題；訓(xùn)練和仿真。
3．加權(quán)支持向量機(jī)（有偏樣本的加權(quán)，有偏風(fēng)險(xiǎn)加權(quán)）。
4．主動(dòng)學(xué)習(xí)的支持向量機(jī)。主動(dòng)學(xué)習(xí)在學(xué)習(xí)過(guò)程中可以根據(jù)學(xué)習(xí)進(jìn)程，選擇最有利于分類(lèi)器性能的樣本來(lái)進(jìn)一步訓(xùn)練分類(lèi)器，特能有效地減少評(píng)價(jià)樣本的數(shù)量。也就是通過(guò)某種標(biāo)準(zhǔn)對(duì)樣本對(duì)分類(lèi)的有效性進(jìn)行排序，然后選擇有效樣本來(lái)訓(xùn)練支持向量機(jī)。
5．粗糙集與支持向量機(jī)的結(jié)合。首先利用粗糙集理論對(duì)數(shù)據(jù)的屬性進(jìn)行約簡(jiǎn)，能在某種程度上減少支持向量機(jī)求解計(jì)算量。
6．基于決策樹(shù)的支持向量機(jī)。對(duì)于多類(lèi)問(wèn)題，采用二岔樹(shù)將要分類(lèi)的樣本集構(gòu)造出一系列的兩類(lèi)問(wèn)題，每個(gè)兩類(lèi)構(gòu)造一個(gè)SVM。
7．分級(jí)聚類(lèi)的支持向量機(jī)。基于分級(jí)聚類(lèi)和決策樹(shù)思想構(gòu)建多類(lèi)svm，使用分級(jí)聚類(lèi)的方法，可以先把n-1個(gè)距離較近的類(lèi)別結(jié)合起來(lái)，暫時(shí)看作一類(lèi)，把剩下的一類(lèi)作為單獨(dú)的一類(lèi)，用svm分類(lèi)，分類(lèi)后的下一步不再考慮這單獨(dú)的一類(lèi)，而只研究所合并的n-1類(lèi)，再依次下去。
8．算法上的提高。
l Vapnik在95年提出了一種稱(chēng)為”chunking”的塊算法，即如果刪除矩陣中對(duì)應(yīng)Lagrange乘數(shù)為0的行和列，將不會(huì)影響最終結(jié)果。
l Osuna提出了一種分解算法，應(yīng)用于人臉識(shí)別領(lǐng)域。
l Joachims在1998年將Osuna提出的分解策略推廣到解決大型SVM學(xué)習(xí)的算法
l Platt于1998年提出了序貫最小優(yōu)化（Sequential Minimal Optimization）每次的工作集中只有2個(gè)樣本。
9．核函數(shù)的構(gòu)造和參數(shù)的選擇理論研究。基于各個(gè)不同的應(yīng)用領(lǐng)域，可以構(gòu)造不同的核函數(shù)，能夠或多或少的引入領(lǐng)域知識(shí)。現(xiàn)在核函數(shù)廣泛應(yīng)用的類(lèi)型有：多項(xiàng)式逼近、貝葉斯分類(lèi)器、徑向基函數(shù)、多層感知器。參數(shù)的選擇現(xiàn)在利用交叉驗(yàn)證的方法來(lái)確認(rèn)。
10．支持向量機(jī)從兩類(lèi)問(wèn)題向多類(lèi)問(wèn)題的推廣：
n Weston在1998年提出的多類(lèi)算法為代表。在經(jīng)典svm理論的基礎(chǔ)上，直接在目標(biāo)函數(shù)上進(jìn)行改進(jìn)，重新構(gòu)造多值分類(lèi)模型，建立k分類(lèi)支持向量機(jī)。通過(guò)sv方法對(duì)新模型的目標(biāo)函數(shù)進(jìn)行優(yōu)化，實(shí)現(xiàn)多值分類(lèi)。這類(lèi)算法選擇的目標(biāo)函數(shù)十分復(fù)雜，變量數(shù)目過(guò)多，計(jì)算復(fù)雜度也非常高，實(shí)現(xiàn)困難，所以只在小型問(wèn)題的求解中才能使用。Weston,Multi-class support vector machines
n 一對(duì)多（one-against-rest）----- Vapnik提出的,k類(lèi)---k個(gè)分類(lèi)器，第m個(gè)分類(lèi)器將第m類(lèi)與其余的類(lèi)分開(kāi)，也就是說(shuō)將第m類(lèi)重新標(biāo)號(hào)為1，其他類(lèi)標(biāo)號(hào)為-1。完成這個(gè)過(guò)程需要計(jì)算k個(gè)二次規(guī)劃，根據(jù)標(biāo)號(hào)將每個(gè)樣本分開(kāi)，最后輸出的是兩類(lèi)分類(lèi)器輸出為最大的那一類(lèi)。不足：容易產(chǎn)生屬于多類(lèi)別的點(diǎn)（多個(gè)1）和沒(méi)有被分類(lèi)的點(diǎn)（標(biāo)號(hào)均為-1）--不對(duì)，訓(xùn)練樣本數(shù)據(jù)大，訓(xùn)練困難，推廣誤差無(wú)界.
n 一對(duì)一（one-against-one）---Kressel 對(duì)于任意兩個(gè)分類(lèi)，構(gòu)造一個(gè)分類(lèi)器，僅識(shí)別這兩個(gè)分類(lèi)，完成這個(gè)過(guò)程需要k(k-1)/2個(gè)分類(lèi)器，計(jì)算量是非常龐大的。對(duì)于每一個(gè)樣本，根據(jù)每一個(gè)分類(lèi)器的分類(lèi)結(jié)果，看屬于哪個(gè)類(lèi)別的次數(shù)多，最終就屬于哪一類(lèi)(組合這些兩類(lèi)分類(lèi)器并使用投票法，得票最多的類(lèi)為樣本點(diǎn)所屬的類(lèi))。不足：如果單個(gè)兩類(lèi)分類(lèi)器不規(guī)范化，則整個(gè)N類(lèi)分類(lèi)器將趨向于過(guò)學(xué)習(xí)；推廣誤差無(wú)界；分類(lèi)器的數(shù)目K隨類(lèi)數(shù)急劇增加，導(dǎo)致在決策時(shí)速度很慢。
n 層（數(shù)分類(lèi)方法），是對(duì)一對(duì)一方法的改進(jìn)，將k個(gè)分類(lèi)合并為兩個(gè)大類(lèi)，每個(gè)大類(lèi)里面再分成兩個(gè)子類(lèi)，如此下去，直到最基本的k個(gè)分類(lèi)，這樣形成不同的層次，每個(gè)層次都用svm來(lái)進(jìn)行分類(lèi)------1對(duì)r-1法，構(gòu)建k-1個(gè)分類(lèi)器，不存在拒絕分類(lèi)區(qū)。
應(yīng)用上：人臉檢測(cè)，汽輪發(fā)電機(jī)組的故障診斷，分類(lèi)，回歸，聚類(lèi)，時(shí)間序列預(yù)測(cè)，系統(tǒng)辨識(shí)，金融工程，生物醫(yī)藥信號(hào)處理，數(shù)據(jù)挖掘，生物信息，文本挖掘，自適應(yīng)信號(hào)處理，剪接位點(diǎn)識(shí)別，基于支持向量機(jī)的數(shù)據(jù)庫(kù)學(xué)習(xí)算法，手寫(xiě)體相似字識(shí)別，支持向量機(jī)函數(shù)擬合在分形插值中的應(yīng)用，基于支持向量機(jī)的慣導(dǎo)初始對(duì)準(zhǔn)系統(tǒng)，巖爆預(yù)測(cè)的支持向量機(jī)，缺陷識(shí)別，計(jì)算機(jī)鍵盤(pán)用戶(hù)身份驗(yàn)證，視頻字幕自動(dòng)定位于提取，說(shuō)話(huà)人的確認(rèn)，等等。
主要研究熱點(diǎn)
從上面的發(fā)展中，我們可以總結(jié)出，目前支持向量機(jī)有著幾方面的研究熱點(diǎn)：核函數(shù)的構(gòu)造和參數(shù)的選擇；支持向量機(jī)從兩類(lèi)問(wèn)題向多類(lèi)問(wèn)題的推廣；更多的應(yīng)用領(lǐng)域的推廣；與目前其它機(jī)器學(xué)習(xí)方法的融合；與數(shù)據(jù)預(yù)處理（樣本的重要度，屬性的重要度，特征選擇等）方面方法的結(jié)合，將數(shù)據(jù)中脫離領(lǐng)域知識(shí)的信息，即數(shù)據(jù)本身的性質(zhì)融入支持向量機(jī)的算法中從而產(chǎn)生新的算法；支持向量機(jī)訓(xùn)練算法的探索。
