一、什么是隱變量?
廣義上的隱變量主要就是指“不能被直接觀察到,但是對系統(tǒng)的狀態(tài)和能觀察到的輸出存在影響的一種東西”。
舉個例子,一個人拿著n個袋子,里面有m種顏色不同的球。現(xiàn)在這個人隨機地抓球,規(guī)則如下:
1. 先隨機挑一個袋子
2. 從這個袋子中隨機挑一個球
如果你站在這個人旁邊,你目睹了整個過程:這個人選了哪個袋子、抓出來的球是什么顏色的。然后你把每次選擇的袋子和抓出來的球的顏色都記錄下來(樣本觀察值),那個人不停地抓,你不停地記。最終你就可以通過你的記錄,推測出每個袋子里每種球顏色的大致比例。并且你記錄的越多,推測的就越準(中心極限定理)。
然而,抓球的人覺得這樣很不爽,于是決定不告訴你他從哪個袋子里抓的球,只告訴你抓出來的球的顏色是什么。這時候,“選袋子”的過程由于你看不見,其實就相當于是一個隱變量。
二、隱變量是啥?
是不可觀測的隨機變量,我們通常通過可觀測變量的樣本對隱變量作出推斷。
舉個高斯混合模型的例子,GMM中隱變量指的是每個observation對應(yīng)的高斯component,由于產(chǎn)生過程是不可觀測的(或者說隱藏的),故得名隱變量。
我們可以通過收集樣本對隱變量的后驗概率進行推斷,然后用估計的后驗概率來對數(shù)據(jù)進行聚類。
三、MEM算法是指?
是指最大期望算法(Expectation-Maximization algorithm, EM),或Dempster-Laird-Rubin算法[1],是一類通過迭代進行極大似然估計(Maximum Likelihood Estimation, MLE)的優(yōu)化算法[2],通常作為牛頓迭代法(Newton-Raphson method)的替代用于對包含隱變量(latent variable)或缺失數(shù)據(jù)(incomplete-data)的概率模型進行參數(shù)估計。
四、em算法分菜時隱變量是啥?
EM算法是求含有隱變量的極大似然估計,可以用于包含隱變量的參數(shù)估計