一、機(jī)器學(xué)習(xí)有什么用?
人工智能,比如各類仿真、擬人應(yīng)用,如機(jī)器人醫(yī)療用于各類擬合預(yù)測金融高頻交易互聯(lián)網(wǎng)數(shù)據(jù)挖掘、關(guān)聯(lián)再具體一點(diǎn),比如水產(chǎn)的水質(zhì)預(yù)測比如無人汽車,應(yīng)用了機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)
二、如何理解神經(jīng)網(wǎng)絡(luò)里面的反向傳播算法
反向傳播算法(BP算法)主要是用于最常見的一類神經(jīng)網(wǎng)絡(luò),叫多層前向神經(jīng)網(wǎng)絡(luò),本質(zhì)可以看作是一個general nonlinear estimator,即輸入x_1 ... x_n 輸出y,視圖找到一個關(guān)系 y=f(x_1 ... x_n) (在這里f的實現(xiàn)方式就是神經(jīng)網(wǎng)絡(luò))來近似已知數(shù)據(jù)。為了得到f中的未知參數(shù)的最優(yōu)估計值,一般會采用最小化誤差的準(zhǔn)則,而最通常的做法就是梯度下降,到此為止都沒問題,把大家困住了很多年的就是多層神經(jīng)網(wǎng)絡(luò)無法得到顯式表達(dá)的梯度下降算法!
BP算法實際上是一種近似的最優(yōu)解決方案,背后的原理仍然是梯度下降,但為了解決上述困難,其方案是將多層轉(zhuǎn)變?yōu)橐粚咏右粚拥膬?yōu)化:只優(yōu)化一層的參數(shù)是可以得到顯式梯度下降表達(dá)式的;而順序呢必須反過來才能保證可工作——由輸出層開始優(yōu)化前一層的參數(shù),然后優(yōu)化再前一層……跑一遍下來,那所有的參數(shù)都優(yōu)化過一次了。但是為什么說是近似最優(yōu)呢,因為數(shù)學(xué)上除了很特殊的結(jié)構(gòu),step-by-step的優(yōu)化結(jié)果并不等于整體優(yōu)化的結(jié)果!不過,好歹現(xiàn)在能工作了,不是嗎?至于怎么再改進(jìn)(已經(jīng)很多改進(jìn)成果了),或者采用其他算法(例如智能優(yōu)化算法等所謂的全局優(yōu)化算法,就算是沒有BP這個近似梯度下降也只是局部最優(yōu)的優(yōu)化算法)那就是新的研究課題了。
三、泛化能力的介紹
所謂泛化能力(generalization ability)是指機(jī)器學(xué)習(xí)算法對新鮮樣本的適應(yīng)能力。學(xué)習(xí)的目的是學(xué)到隱含在數(shù)據(jù)對背后的規(guī)律,對具有同一規(guī)律的學(xué)習(xí)集以外的數(shù)據(jù),經(jīng)過訓(xùn)練的網(wǎng)絡(luò)也能給出合適的輸出,該能力稱為泛化能力。
四、大數(shù)據(jù)時代 如何理解“大數(shù)據(jù)”
最早提出大數(shù)據(jù)概念的學(xué)科是天文學(xué)和基因?qū)W,這兩個學(xué)科從誕生之日起就依賴于基于海量數(shù)據(jù)的分析方法。
大數(shù)據(jù)可以說是計算機(jī)和互聯(lián)網(wǎng)結(jié)合的產(chǎn)物,計算機(jī)實現(xiàn)了數(shù)據(jù)的數(shù)字化;互聯(lián)網(wǎng)實現(xiàn)了數(shù)據(jù)的網(wǎng)絡(luò)化;兩者結(jié)合才賦予了大數(shù)據(jù)生命力!
隨著互聯(lián)網(wǎng)如同空氣、水、電一樣無處不在地滲透入我們的工作和生活,加上移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、可穿戴聯(lián)網(wǎng)設(shè)備的普及,新的數(shù)據(jù)正在以指數(shù)級別的加速度產(chǎn)生。據(jù)說目前世界上90%的數(shù)據(jù)是互聯(lián)網(wǎng)出現(xiàn)以后迅速產(chǎn)生的。
不過,拋開數(shù)據(jù)的海量化生產(chǎn)和存儲這種表面現(xiàn)象,我們更加要關(guān)注的是由數(shù)據(jù)量變帶來的質(zhì)變,這種質(zhì)變表現(xiàn)在以下3個方面:
1)數(shù)據(jù)思維
大數(shù)據(jù)時代帶給我們的是一種全新的思維方式,思維方式的改變在下一代成為社會生產(chǎn)中流砥柱的時候就會帶來產(chǎn)業(yè)的顛覆性變革!
- 分析全面的數(shù)據(jù)而非隨機(jī)抽樣;
- 重視數(shù)據(jù)的復(fù)雜性,弱化精確性;
- 關(guān)注數(shù)據(jù)的相關(guān)性,而非因果關(guān)系。
歷來的商業(yè)變革都是由思維方式的轉(zhuǎn)變開始的,舊的經(jīng)濟(jì)體制和傳統(tǒng)的商業(yè)理念面臨新的商業(yè)思維邏輯的時候,如果大腦不能與時俱進(jìn),吸收并轉(zhuǎn)變?yōu)轫槕?yīng)潮流的新思維,通過新思維重新組織企業(yè)組織的戰(zhàn)略、結(jié)構(gòu)、文化和各種策略,那么貌似強(qiáng)大的體魄反而變成了企業(yè)前進(jìn)的累贅。這種新思維顛覆巨頭的案例最先發(fā)生在信息技術(shù)的傳統(tǒng)領(lǐng)域,然后滲透到傳統(tǒng)的商業(yè)領(lǐng)域:黑莓(Blackberry)、摩托羅拉、諾基亞、柯達(dá)、雅虎。。。案例比比皆是!
當(dāng)然,這些企業(yè)的沒落并不是因為沒有數(shù)據(jù)思維,但他們都是被新互聯(lián)網(wǎng)思維淘汰的昔日巨人。數(shù)據(jù)思維是最新的思想,其影響力還沒有發(fā)展到導(dǎo)致巨頭轟然倒塌。但是,如果不給予足夠的重視,下一波沒落王國的名單中,可能就會有你!
2)數(shù)據(jù)資產(chǎn)
大數(shù)據(jù)時代,我們需要更加全面的數(shù)據(jù)來提高分析(預(yù)測)的準(zhǔn)確度,因此我們就需要更多廉價、便捷、自動的數(shù)據(jù)生產(chǎn)工具。除了我們在互聯(lián)網(wǎng)虛擬世界使用瀏覽器、軟件有意或者無意留下的各種個人信息數(shù)據(jù)之外,我們正在用手機(jī)、智能手表、智能手環(huán)、智能項鏈等各種可穿戴數(shù)碼產(chǎn)品生產(chǎn)數(shù)據(jù);我們家里的路由器、電視機(jī)、空調(diào)、冰箱、飲水機(jī)、吸塵器、智能玩具等也開始越來越智能并且具備了聯(lián)網(wǎng)功能,這些家用電器在更好地服務(wù)我們的同時,也在生產(chǎn)大量的數(shù)據(jù);甚至我們出去逛街,商戶的路由器,運(yùn)營商的WLAN和3G,無處不在的攝像頭電子眼,百貨大樓的自助屏幕,銀行的ATM,加油站以及遍布各個便利店的刷卡機(jī)都在收集和生產(chǎn)數(shù)據(jù)。
在互聯(lián)網(wǎng)領(lǐng)域,我們喜歡說入口這個詞,入口對應(yīng)的直接意義是流量,而流量在互聯(lián)網(wǎng)領(lǐng)域就意味著金錢,這種流量變現(xiàn)可能是廣告,可能是游戲,也可能是電商。在大數(shù)據(jù)時代,入口這個詞還有更深刻的意義,那就是數(shù)據(jù)生產(chǎn)的源頭,用戶通過某個APP或者硬件產(chǎn)品滿足某種需求的同事,也會留下一系列相關(guān)的數(shù)據(jù),這些數(shù)據(jù)的合理使用可以讓擁有這部分?jǐn)?shù)據(jù)的企業(yè)獲得更大的商業(yè)利益!所以,在大數(shù)據(jù)時代,意識到數(shù)據(jù)也是資產(chǎn)的公司都已經(jīng)開始在各個數(shù)據(jù)生產(chǎn)的源頭進(jìn)行布局,可能是一個解決剛興需求的WEB網(wǎng)站,也可能是一個單純的工具APP,還可能是一個可穿戴的數(shù)碼產(chǎn)品!
3)數(shù)據(jù)變現(xiàn)
有了數(shù)據(jù)資產(chǎn),就要通過分析來挖掘資產(chǎn)的價值,然后變現(xiàn)為用戶價值、股東價值甚至社會價值。
大數(shù)據(jù)分析的核心目的就是預(yù)測,在海量數(shù)據(jù)的基礎(chǔ)上,通過機(jī)器學(xué)習(xí)相關(guān)的各種技術(shù)和數(shù)學(xué)建模來預(yù)測事情發(fā)生的可能性并采取相應(yīng)措施。預(yù)測股價、預(yù)測機(jī)票價格、預(yù)測流感等等。
預(yù)測事情發(fā)生的可能性繼續(xù)往下延伸,就可以通過適當(dāng)?shù)母深A(yù),來引導(dǎo)事情向著期望的方向發(fā)展。比如亞馬遜和所有的電商一樣,都會基于對用戶的喜好及消費(fèi)能力分析來推薦商品,引導(dǎo)用戶提高消費(fèi)金額;Google等互聯(lián)網(wǎng)巨頭也會通過各種技術(shù)手段來試圖向不同的用戶展現(xiàn)不同的廣告,并稱之為精準(zhǔn)營銷,由此來提高點(diǎn)擊率(公司收入);網(wǎng)游公司也會在運(yùn)營工程中通過玩家行為數(shù)據(jù)的分析來及時調(diào)整游戲關(guān)卡及計費(fèi)點(diǎn)等設(shè)計。