SVM理論是在統(tǒng)計學習理論的基礎上發(fā)展起來的,由于統(tǒng)計學習理論和SVM方法對有限樣本情況下模式識別中的一些根本性的問題進行了系統(tǒng)的理論研究,很大程度上解決了以往的機器學習中模型的選擇與過學習問題、非線性和維數(shù)災難、局部極小點問題等。應用SVM進行回歸預測的步驟具體如下:

1)實驗規(guī)模的選取,決定訓練集的數(shù)量、測試集的數(shù)量,以及兩者的比例;2)預測參數(shù)的選取;3)對實驗數(shù)據(jù)進行規(guī)范化處理;4)核函數(shù)的確定;5)核函數(shù)參數(shù)的確定。其中參數(shù)的選擇對SVM的性能來說是十分重要的,對于本文的核函數(shù)使用RBF核函數(shù),對于RBF核函數(shù),SVM參數(shù)包括折衷參數(shù)C、核寬度C和不敏感參數(shù)E。目前SVM方法的參數(shù)、核函數(shù)的參數(shù)選擇,在國際上都還沒有形成統(tǒng)一的模式,也就是說最優(yōu)SVM算法參數(shù)選擇還只能是憑借經(jīng)驗、實驗對比、大范圍的搜尋和交叉檢驗等進行尋優(yōu)。實際應用中經(jīng)常為了方便,主觀設定一個較小的正數(shù)作為E的取值,本文首先在C和C的一定范圍內(nèi)取多個值來訓練,定下各個參數(shù)取值的大概范圍,然后利用留一法來具體選定參數(shù)值

股價時間序列的SVM模型最高階確定

股價數(shù)據(jù)是一個時間序列,從時間序列的特征分析得知,股價具有時滯、后效性,當天的股價不僅還與當天各種特征有關,還與前幾天的股價及特征相關,所以有必要把前幾天的股價和特征作為自變量來考慮。最高階確定基本原理是從低階開始對系統(tǒng)建模,然后逐步增加模型的階數(shù),并用F檢驗對這些模型進行判別來確定最高階n,這樣才能更客觀反映股票價格的時滯特性。具體操作步驟如下:假定一多輸入單輸出回歸模型有N個樣本、一個因變量(股價)、m- 1個自變量(特征),由低階到高階遞推地采用SVM模型去擬合系統(tǒng)(這兒的拓階就是把昨天股價當做自變量,對特征同時拓階),并依次對相鄰兩個SVM模型采用F檢驗的方法判斷模型階次增加是否合適[ 7]。對相鄰兩模型SVM ( n)和SVM ( n+ 1)而言,有統(tǒng)計量Fi為:Fi=QSVR (n)- QSVR( n+1)QSVR (n)1N - m n - (m -1)mi =1,2,,, n(1)它服從自由度分別為m和(N - m n - (m -1) )的F分布,其中QSVR (n)和QSVR( n+1)分別為SVR ( n)和QSVR( n+1)的剩余離差平方和,若Fi< F(?,m, N-m n- (m-1) ),則SVM (n )模型是合適的;反之,繼續(xù)拓展階數(shù)。

前向浮動特征篩選

經(jīng)過上述模型最高階數(shù)的確定后,雖然確定了階數(shù)為n的SVM模型,即n個特征,但其中某些特征對模型的預測精度有不利影響,本文采用基于SVM和留一法的前向浮動特征特征篩選算法選擇對提高預測精度有利影響的特征。令B= {xj: j=1,2,,, k}表示特征全集, Am表示由B中的m個特征組成的特征子集,評價函數(shù)MSE (Am)和MSE (Ai) i =1,2,,, m -1的值都已知。本文采用的前向浮動特征篩選算法如下[9]:1)設置m =0, A0為空集,利用前向特征篩選方法尋找兩個特征組成特征子集Am(m =2);2)使用前向特征篩選方法從未選擇的特征子集(B -Am)中選擇特征xm +1,得到子集Am+1;3)如果迭代次數(shù)達到預設值則退出,否則執(zhí)行4);4)選擇特征子集Am+1中最不重要的特征。如果xm+1是最不重要的特征即對任意jXm +1, J (Am +1- xm+1)FJ(Am +1- xj)成立,那么令m = m +1,返回2) (由于xm+1是最不重要的特征,所以無需從Am中排除原有的特征);如果最不重要的特征是xr( r =1,2,,, m )且MSE (Am+1- xr) < MSE (Am)成立,排除xr,令A'm= Am+1- xr;如果m =2,設置Am= A'm,J (Am) = J (A'm), ,返回2),否則轉(zhuǎn)向步驟5);5)在特征子集A'm中尋找最不重要的特征xs,如果MSE (A'm- xs)EM SE (Am-1),那么設置Am= A'm, MSE (Am)= MSE (A'm),返回2);如果M SE (A'm- xs) < M SE (Am -1),那么A'm從中排除xs,得到A'm-1= Am- xs,令m = m -1;如果m =2,設置Am= A'm, MSE (Am) = MSE (A'm)返回2),否則轉(zhuǎn)向5)。最后選擇的特征用于后續(xù)建模預測。

預測評價指標及參比模型

訓練結(jié)果評估階段是對訓練得出的模型推廣能力進行驗證,所謂推廣能力是指經(jīng)訓練后的模型對未在訓練集中出現(xiàn)的樣本做出正確反應的能力。為了評價本文模型的優(yōu)劣,選擇BPANN、多變量自回歸時間序列模型( CAR)和沒有進行拓階和特征篩選的SVM作為參比模型。采用均方誤差(mean squared error, MSE)和平均絕對誤差百分率(mean ab-solute percentage error, MAPE)作為評價指標。MSE和MAP定義如下:M SE=E(yi- y^i)2n( 2)MAPE=E| yi- y^i| /yin( 3)其中yi為真值, y^i為預測值, n為預測樣本數(shù)。如果得出M SE, MAPE結(jié)果較小,則說明該評估模型的推廣能力強,或泛化能力強,否則就說明其推廣能力較差