一、簡單線性回歸的理論模型
給定一個隨機樣本，一個線性回歸模型假設回歸子Yi和回歸量之間的關系可能是不完美的。我們加入一個誤差項（也是一個隨機變量）來捕獲除了之外任何對Yi的影響。所以一個多變量線性回歸模型表示為以下的形式：
其他的模型可能被認定成非線性模型。一個線性回歸模型不需要是自變量的線性函數。線性在這里表示Yi的條件均值在參數β里是線性的。例如：模型在β1和β2里是線性的，但在里是非線性的，它是Xi的非線性函數。
二、什么是線性回歸模型
實驗數據是離散的，用一線性方程式逼近數據，此線性方程式就是線性回歸模型。
三、MATLAB中多元線性回歸命令 （除了regress）
二、一元線性回歸
2．1．命令 polyfit最小二乘多項式擬合
[p，S]=polyfit（x，y，m）
多項式y=a1xm+a2xm-1+…+amx+am+1
其中x=（x1，x2，…，xm）x1…xm為（n*1）的矩陣;
y為（n*1）的矩陣；
p=（a1，a2，…，am+1）是多項式y=a1xm+a2xm-1+…+amx+am+1的系數；
S是一個矩陣，用來估計預測誤差.
2．2．命令 polyval多項式函數的預測值
Y=polyval（p，x）求polyfit所得的回歸多項式在x處的預測值Y；
p是polyfit函數的返回值；
x和polyfit函數的x值相同。
2．3．命令 polyconf 殘差個案次序圖
[Y，DELTA]=polyconf（p，x，S，alpha）求polyfit所得的回歸多項式在x處的預測值Y及預測值的顯著性為1-alpha的置信區間DELTA；alpha缺省時為0.05。
p是polyfit函數的返回值；
x和polyfit函數的x值相同；
S和polyfit函數的S值相同。
2．4 命令 polytool（x，y，m）一元多項式回歸命令
2．5．命令regress多元線性回歸（可用于一元線性回歸）
b=regress( Y, X )
[b, bint,r,rint,stats]=regress(Y,X,alpha)
b 回歸系數
bint 回歸系數的區間估計
r 殘差
rint 殘差置信區間
stats 用于檢驗回歸模型的統計量，有三個數值：相關系數R2、F值、與F對應的概率p,相關系數R2越接近1，說明回歸方程越顯著；F > F1-α（k，n-k-1）時拒絕H0，F越大，說明回歸方程越顯著；與F對應的概率p 時拒絕H0，回歸模型成立。
Y為n*1的矩陣；
X為（ones(n,1),x1,…,xm）的矩陣；
alpha顯著性水平（缺省時為0.05）。
三、多元線性回歸
3．1．命令 regress（見2。5）
3．2．命令 rstool 多元二項式回歸
命令：rstool（x，y，’model’, alpha）
x 為n*m矩陣
y為 n維列向量
model 由下列4個模型中選擇1個（用字符串輸入，缺省時為線性模型）：
linear（線性）：
purequadratic（純二次）：
interaction（交叉）：
quadratic（完全二次）：
alpha 顯著性水平（缺省時為0.05）
返回值beta 系數
返回值rmse剩余標準差
返回值residuals殘差
四、非線性回歸
4．1．命令 nlinfit
[beta,R,J]=nlinfit(X,Y,’’model’,beta0)
X 為n*m矩陣
Y為 n維列向量
model為自定義函數
beta0為估計的模型系數
beta為回歸系數
R為殘差
J
4．2．命令 nlintool
nlintool(X,Y,’model’,beta0,alpha)
X 為n*m矩陣
Y為 n維列向量
model為自定義函數
beta0為估計的模型系數
alpha顯著性水平（缺省時為0.05）
4．3．命令 nlparci
betaci=nlparci(beta,R,J)
beta為回歸系數
R為殘差
J
返回值為回歸系數beta的置信區間
4．4．命令 nlpredci
[Y,DELTA]=nlpredci(‘model’,X,beta,R,J)
Y為預測值
DELTA為預測值的顯著性為1-alpha的置信區間；alpha缺省時為0.05。
X 為n*m矩陣
model為自定義函數
beta為回歸系數
R為殘差
J
四、簡單線性回歸模型的每一構成項各有什么含義
一元線性回歸是一個主要影響因素作為自變量來解釋因變量的變化，在現實問題研究中，因變量的變化往往受幾個重要因素的影響，此時就需要用兩個或兩個以上的影響因素作為自變量來解釋因變量的變化，這就是多元回歸亦稱多重回歸。當多個自變量與因變量之間是線性關系時，所進行的回歸分析就是多元性回歸。 設y為因變量X1,X2…Xk為自變量，并且自變量與因變量之間為線性關系時，則多元線性回歸模型為:
Y=b0+b1x1+…+bkxk+e
其中，b0為常數項，b1,b2…bk為回歸系數，b1為X1,X2…Xk固定時，x1每增加一個單位對y的效應，即x1對y的偏回歸系數;同理b2為X1,X2…Xk固定時，x2每增加一個單位對y的效應，即，x2對y的偏回歸系數，等等。如果兩個自變量x1,x2同一個因變量y呈線相關時，可用二元線性回歸模型描述為:
y=b0 +b1x1 +b2x2 +e
建立多元性回歸模型時，為了保證回歸模型具有優良的解釋能力和預測效果，應首先注意自變量的選擇，其準則是:
(1)自變量對因變量必須有顯著的影響，并呈密切的線性相關;
(2)自變量與因變量之間的線性相關必須是真實的，而不是形式上的;
(3)自變量之彰應具有一定的互斥性，即自變量之間的相關程度不應高于自變量與因變量之因的相關程度;
(4)自變量應具有完整的統計數據，其預測值容易確定。
多元性回歸模型的參數估計，同一元線性回歸方程一樣，也是在要求誤差平方和(Σe)為最小的前提下，用最小二乘法求解參數。以二線性回歸模型為例，求解回歸參數的標準方程組為
解此方程可求得b0,b1,b2的數值。
