如何通俗的理解機器學習中的VC維，shatter和break point

來源：知乎

胡科學

通俗來講，舉個例子吧。假如你想訓練出這樣一個模型：根據人的身高和體重來預測這個人美還是丑。這是一個簡單的二分類問題。

現在想象你面前有一個平面直角坐標系。橫軸（x軸）代表人的身高，縱軸（y軸）代表人的體重。

現在咱們拍腦袋決定：咱們的模型應該是線性的（就是一條直線）。通俗來講，在你的平面直角坐標系里，你畫一條線，這條線就把美人和丑人分開了。這條線就是我們最終的模型。

現在咱們要開始往平面直角坐標系放數據了。

假設咱只有兩組數據（就是說咱們的坐標系里只有兩個點）。這兩組數據隨機組合，一共有3種情況。

第一種情況：咱們有兩個美人的數據

第二種情況：咱們有兩個丑人的數據

第三種情況：咱們有一美一丑的數據

無論是哪一種情況，咱們都可以通過一條線把美人和丑人分開。這說明：線性的模型是完全可以shatter兩組數據的。

但假如說咱們有四組數據（坐標系里有四個點）。咱們就無法保證線性模型可以完全解釋所有數據的可能性了。例如咱們的數據是（180cm, 50kg）=美，（10cm, 10kg）=美，（180cm, 10kg）= 丑還有(10cm, 50kg）=丑。對于這組數據，咱無論怎么畫直線，都沒有辦法把美和丑分開在直線兩側。這說明：線性的模型是沒有辦法Shatter 4組數據的。

假如說咱們有三組數據，還是總可以通過畫線的方式把美/丑分開的。（大家仔細想一想）。

所以，線性模型在這種二維數據的情況下的VC dimension 是3。（因為線性模型最多能Shatter3組數據）

現在，假如說我們突然改變主意了：咱們的模型可以是非線性的。那非線性模型的VC dimension可就高了。想象一下，一條曲線是不是理論上可以把坐標系里的所有美丑都分開？

所以通俗的理解： VC dimension就是某類模型對數據數量的包容性。VC dimension越高，就說明包容性越強。

說了這么多，VC dimension到底有什么用呢？簡單來說，VC dimension可以幫助我們選擇更好的模型。所謂“更好”的模型，可以理解為風險（risk)更低的模型。

如何估計模型的風險呢？咱們有這個公式：

真正的風險 < 根據已有數據計算出的風險 +f(VC dimension)

f(VC dimension)是一個以VC dimension為變量的函數。咱們要選擇的模型，一定要使f(VC dimension)低，這樣真正的風險就會低。風險低的模型就更好。

Ps: 我上面說的可能不完全準確。只是為了盡量通俗地把概念說明白。

發布于

趙印

簡單通俗的說。

VC維是模型的復雜程度，模型假設空間越大，VC維越高。

shatter和break point是VC維理論中的概念。shatter是指模型假設把數據打碎了，也就是區分開了。而break point是指當模型復雜度變的足夠高了后，可以把數據打的足夠散的一個數學臨界點。

更重要的是，VC維的實踐意義是給機器學習可學性提供了理論支撐。

1. 測試集合的loss是否和訓練集合的loss接近？VC維越小，理論越接近。

2. 訓練集合的loss是否足夠小？VC維越大，loss理論越小。

一般工業實踐中通過引入正則對模型復雜度(VC維)進行控制，平衡這兩個問題的矛盾。

如果想深入理解，推薦看看騰訊廣點通團隊的這個技術博客：VC維的來龍去脈 | 火光搖曳 。 個人認為總結的很好。

仿生學例子

仿生學現象 1。由令人討厭的蒼蠅，仿制成功一種十分奇特的小型氣體分析儀。已經被安裝在宇宙飛船的座艙里，用來檢測艙內氣體的成分。

2。從螢火蟲到人工冷光；

3。電魚與伏特電池；

4。水母的順風耳，仿照水母耳朵的結構和功能，設計了水母耳風暴預測儀，能提前15小時對風暴作出預報，對航海和漁業的安全都有重要意義。

5。人們根據蛙眼的視覺原理，已研制成功一種電子蛙眼。這種電子蛙眼能像真的蛙眼那樣，準確無誤地識別出特定形狀的物體。把電子蛙眼裝入雷達系統后，雷達抗干擾能力大大提高。這種雷達系統能快速而準確地識別出特定形狀的飛機、艦船和導彈等。特別是能夠區別真假導彈，防止以假亂真。

電子蛙眼還廣泛應用在機場及交通要道上。在機場，它能監視飛機的起飛與降落，若發現飛機將要發生碰撞，能及時發出警報。在交通要道，它能指揮車輛的行駛，防止車輛碰撞事故的發生。

6。根據蝙蝠超聲定位器的原理，人們還仿制了盲人用的“探路儀”。這種探路儀內裝一個超聲波發射器，盲人帶著它可以發現電桿、臺階、橋上的人等。如今，有類似作用的“超聲眼鏡”也已制成。

7。模擬藍藻的不完全光合器，將設計出仿生光解水的裝置，從而可獲得大量的氫氣。

8。根據對人體骨胳肌肉系統和生物電控制的研究，已仿制了人力增強器——步行機。

9。現代起重機的掛鉤起源于許多動物的爪子。

10。屋頂瓦楞模仿動物的鱗甲。

11。船槳模仿的是魚的鰭。

12。鋸子學的是螳螂臂，或鋸齒草。

13。蒼耳屬植物獲取靈感發明了尼龍搭扣。

14。嗅覺靈敏的龍蝦為人們制造氣味探測儀提供了思路。

15。壁虎腳趾對制造能反復使用的粘性錄音帶提供了令人鼓舞的前景。

16。貝用它的蛋白質生成的膠體非常牢固，這樣一種膠體可應用在從外科手術的縫合到補船等一切事情上。

16.樹葉的排列和悉尼大劇院的建設。

17.潛水艇和魚的沉浮。

18.響尾蛇和空對空響尾蛇導彈。

[編輯本段]【仿生學最新發展】

仿生學與遺傳學的整合是系統生物工程（systems bio-engineering）的理念，也就是發展遺傳工程的仿生學。人工基因重組、轉基因技術是自然重組、基因轉移的模仿，還天然藥物分子、生物高分子的人工合成是分子水平的仿生，人工神經元、神經網絡、細胞自動機是細胞系統水平的仿生，跟隨單基因遺傳學、單基因轉移發展到多基因系統調控研究的系統遺傳學（system genetics）、多基因轉基因的合成生物學（synthetic biology），以及納米生物技術（nano-biotechnology）、生物計算（bio - computation、DNA計算機技術的系統生物工程發展，仿生學已經全面發展到一個從分子、細胞到器官的人工生物系統（artificial biosystem）開發的時代。