現(xiàn)在計(jì)算機(jī)界戲稱機(jī)器學(xué)習(xí)“學(xué)科”，它無所不在。一方面，機(jī)器學(xué)習(xí)有其自身的學(xué)科體系；另一方面它還有兩個(gè)重要的輻射功能。一是為應(yīng)用學(xué)科提供解決問題的方法與途徑。說的通俗一點(diǎn)，對(duì)于一個(gè)應(yīng)用學(xué)科來說，機(jī)器學(xué)習(xí)的目的就是把一些難懂的數(shù)學(xué)翻譯成讓工程師能夠?qū)懗龀绦虻膫未a。二是為一些傳統(tǒng)學(xué)科，比如統(tǒng)計(jì)、理論計(jì)算機(jī)科學(xué)、運(yùn)籌優(yōu)化等找到新的研究問題。
　　
　　4、機(jī)器學(xué)習(xí)發(fā)展的啟示
　　
　　機(jī)器學(xué)習(xí)的發(fā)展歷程告訴我們：發(fā)展一個(gè)學(xué)科需要一個(gè)務(wù)實(shí)的態(tài)度。時(shí)髦的概念和名字無疑對(duì)學(xué)科的普及有一定的推動(dòng)作用，但學(xué)科的根本還是所研究的問題、方法、技術(shù)和支撐的基礎(chǔ)等，以及為社會(huì)產(chǎn)生的價(jià)值。
　　
　　機(jī)器學(xué)習(xí)是個(gè)很酷的名字，簡單地按照字面理解，它的目的是讓機(jī)器能像人一樣具有學(xué)習(xí)能力。但在前面我們所看到的，在其10年的黃金發(fā)展期，機(jī)器學(xué)習(xí)界并沒有過多地炒作“智能”，而是更多地關(guān)注于引入統(tǒng)計(jì)學(xué)等來建立學(xué)科的理論基礎(chǔ)，面向數(shù)據(jù)分析與處理，以無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)為兩大主要的研究問題，提出和開發(fā)了一系列模型、方法和計(jì)算算法等，切實(shí)地解決工業(yè)界所面臨的一些實(shí)際問題。近幾年，因應(yīng)大數(shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升，一批面向機(jī)器學(xué)習(xí)的底層架構(gòu)又先后被開發(fā)出來，深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)勢(shì)崛起給工業(yè)界帶來了深刻的變革和機(jī)遇。
　　
　　機(jī)器學(xué)習(xí)的發(fā)展同樣詮釋了多學(xué)科交叉的重要性和必要性。然而這種交叉不是簡單地彼此知道幾個(gè)名詞或概念就可以的，是需要真正的融化貫通。MikeJordan教授既是的計(jì)算機(jī)學(xué)家，又是的統(tǒng)計(jì)學(xué)家，所以他能夠承擔(dān)起建立統(tǒng)計(jì)機(jī)器學(xué)習(xí)的重任。而且他非常務(wù)實(shí)，從不提那些空洞無物的概念和框架。他遵循自下而上的方式，即先從具體問題、模型、方法、算法等著手，然后一步一步系統(tǒng)化。GeoffreyHinton教授是世界的認(rèn)知心理學(xué)家和計(jì)算機(jī)科學(xué)學(xué)家。雖然他很早就成就斐然，在學(xué)術(shù)界名聲，但他一直活躍在一線，自己寫代碼。他提出的許多想法簡單、可行又非常有效，因此被稱為偉大的思想家。正是由于他的睿智和力行，深度學(xué)習(xí)技術(shù)迎來了革命性的突破。
　　
　　機(jī)器學(xué)習(xí)這個(gè)學(xué)科同時(shí)是兼容并收。我們可以說機(jī)器學(xué)習(xí)是由學(xué)術(shù)界、工業(yè)界、創(chuàng)業(yè)界(或競賽界)等合力而造就的。學(xué)術(shù)界是引擎，工業(yè)界是驅(qū)動(dòng)，創(chuàng)業(yè)界是活力和未來。學(xué)術(shù)界和工業(yè)界應(yīng)該有各自的職責(zé)和分工。學(xué)術(shù)界職責(zé)在于建立和發(fā)展機(jī)器學(xué)習(xí)學(xué)科，培養(yǎng)機(jī)器學(xué)習(xí)領(lǐng)域的專門人才；而大項(xiàng)目、大工程更應(yīng)該由市場來驅(qū)動(dòng)，由工業(yè)界來實(shí)施和完成。
　　
　　5、國內(nèi)外發(fā)展現(xiàn)狀
　　
　　我們來看看機(jī)器學(xué)習(xí)在國際的發(fā)展現(xiàn)狀。我主要看幾所大學(xué)的情況。在伯克利，一個(gè)值得深思的舉措是機(jī)器學(xué)習(xí)的教授同時(shí)在計(jì)算機(jī)系和統(tǒng)計(jì)學(xué)都有正式職位，而且據(jù)我所知，他們不是兼職，在兩個(gè)系都有教授課程和研究的任務(wù)的。伯克利是美國統(tǒng)計(jì)學(xué)的發(fā)源地，可以說是當(dāng)今統(tǒng)計(jì)學(xué)的圣地，然而她兼容并蓄、不固步自封。MikeJordan教授是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的主要建立者和推動(dòng)者，他為機(jī)器學(xué)習(xí)領(lǐng)域培養(yǎng)了一大批的學(xué)生。統(tǒng)計(jì)系的主任現(xiàn)在是Mike，然而他早年的教育并沒有統(tǒng)計(jì)或數(shù)學(xué)背景。可以說，Berkeley的統(tǒng)計(jì)系成就了Mike，反過來他也為Berkeley的統(tǒng)計(jì)學(xué)發(fā)展創(chuàng)造了新的活力，建立了無可代替的功勛。
　　
　　斯坦福和伯克利的統(tǒng)計(jì)是公認(rèn)世界好的兩個(gè)。我們看到，斯坦福統(tǒng)計(jì)系的主流方向就是統(tǒng)計(jì)學(xué)習(xí)，比如我們熟知的《Elementsofstatisticallearning》一書就是統(tǒng)計(jì)系幾位教授撰寫的。Stanford計(jì)算機(jī)科學(xué)的人工智能方向一直在世界占主導(dǎo)地位，特別在不確定推理、概率圖模型、概率機(jī)器人等領(lǐng)域成就斐然，他們的網(wǎng)絡(luò)公開課《機(jī)器學(xué)習(xí)》、《概率圖模型》以及《人工智能》等讓世界受益。
　　
　　CMU是一個(gè)非常獨(dú)特的學(xué)校，她并不是美國傳統(tǒng)的常春藤大學(xué)?？梢哉f，它是以計(jì)算機(jī)科學(xué)為立校之本，它是世界個(gè)建立機(jī)器學(xué)習(xí)系的學(xué)校。TomMitchell教授是機(jī)器學(xué)習(xí)的早期建立者之一和守護(hù)者，他一直為該校本科生教《機(jī)器學(xué)習(xí)》課程。然而，這個(gè)學(xué)校統(tǒng)計(jì)學(xué)同樣強(qiáng)，尤其，她是貝葉斯統(tǒng)計(jì)學(xué)的世界研究中心。
　　
　　在機(jī)器學(xué)習(xí)領(lǐng)域，多倫多大學(xué)有著舉足輕重的地位，她們機(jī)器學(xué)習(xí)研究組云集了一批的學(xué)者，在“Science”和“Nature”發(fā)表多篇論文，實(shí)屬罕見。GeoffreyHinton教授是偉大的思想家，但更是踐行者。他是神經(jīng)網(wǎng)絡(luò)的建立者之一，是BP算法和深度學(xué)習(xí)的主要貢獻(xiàn)者。正是由于他的不懈努力，神經(jīng)網(wǎng)絡(luò)迎來了大爆發(fā)。RadfordNeal教授是Hinton學(xué)生，他在貝葉斯統(tǒng)計(jì)領(lǐng)域，特別是關(guān)于MCMC做出了一系列的重要工作。
　　
　　國際發(fā)展現(xiàn)狀
　　
　　那么我們來看看國內(nèi)的現(xiàn)狀?？偟膩碚f，統(tǒng)計(jì)和計(jì)算機(jī)科學(xué)這兩個(gè)學(xué)科處于Larry所說的初期各自為戰(zhàn)的階段。面向大數(shù)據(jù)的統(tǒng)計(jì)學(xué)與計(jì)算機(jī)科學(xué)的交叉研究是機(jī)遇也是挑戰(zhàn)。
　　
　　我之前在浙江大學(xué)曾經(jīng)參與其統(tǒng)計(jì)交叉學(xué)科中心的組建，由此對(duì)統(tǒng)計(jì)界有所了解。統(tǒng)計(jì)學(xué)在中國應(yīng)該還是一個(gè)弱勢(shì)學(xué)科，近才被國家定為一級(jí)學(xué)科。我國統(tǒng)計(jì)學(xué)處于兩個(gè)極端，一是它被當(dāng)作數(shù)學(xué)的一個(gè)分支，主要研究概率論、隨機(jī)過程以及數(shù)理統(tǒng)計(jì)理論等。二是它被劃為經(jīng)濟(jì)學(xué)的分支，主要研究經(jīng)濟(jì)分析中的應(yīng)用。而機(jī)器學(xué)習(xí)在統(tǒng)計(jì)學(xué)界還沒有被深度地關(guān)注。因此，面向于數(shù)據(jù)處理、分析的IT和統(tǒng)計(jì)學(xué)的深度融合有巨大的潛力。
　　
　　雖然，我并沒有跟國內(nèi)機(jī)器學(xué)習(xí)或者人工智能學(xué)術(shù)界有深入的接觸，但我在國內(nèi)計(jì)算機(jī)系工作近8年時(shí)間，一直在一線從事機(jī)器學(xué)習(xí)相關(guān)的教學(xué)與研究，應(yīng)該對(duì)機(jī)器學(xué)習(xí)的現(xiàn)狀有一定的發(fā)言權(quán)。機(jī)器學(xué)習(xí)的確在中國得到了廣泛的關(guān)注，也取得了一定的成績，但我覺得高品質(zhì)的研究成果稀缺。熱衷于對(duì)機(jī)器學(xué)習(xí)的階段進(jìn)行一些概念炒作，它們通常沒有多大的可執(zhí)行性；偏愛大項(xiàng)目、大集成，這些本更應(yīng)該由工業(yè)界來實(shí)施；而理論、方法等基礎(chǔ)性的研究不被重視，認(rèn)為理論沒有用處的觀點(diǎn)還大有市場。
　　
　　計(jì)算機(jī)學(xué)科的培養(yǎng)體系還基本停留在它的早期發(fā)展階段。大多數(shù)學(xué)校都開設(shè)了人工智能與機(jī)器學(xué)習(xí)的課程，但無論是深度還是前沿性都落后于學(xué)科的發(fā)展，不能適應(yīng)時(shí)代的需要。人才的培養(yǎng)無論質(zhì)量和數(shù)量都無法滿足工業(yè)界的需求。這也是國內(nèi)IT公司與國際同類公司技術(shù)上有較大差距的關(guān)鍵原因。
　　
　　第二部分：幾個(gè)簡單的研究思路
　　
　　在這部分，我的關(guān)注則回到機(jī)器學(xué)習(xí)的研究本身上來。機(jī)器學(xué)習(xí)內(nèi)容博大精深，而且新方法、新技術(shù)正源源不斷地被提出、被發(fā)現(xiàn)。這里，我試圖用“多級(jí)”、“自適應(yīng)”以及“平均”等概念來簡約紛繁多彩的機(jī)器學(xué)習(xí)模型和計(jì)算方法背后的一些研究思路和思想。希望這些對(duì)大家理解機(jī)器學(xué)習(xí)已有的一些模型、方法以及未來的研究有所啟發(fā)。
　　
　　1.多級(jí)
　　
　　首先，讓我們來關(guān)注“多級(jí)”這個(gè)技術(shù)思想。我們具體看三個(gè)例子。
　　
　　個(gè)例子是隱含數(shù)據(jù)模型，它就是一種多級(jí)模型。作為概率圖模型的一種延伸，隱含數(shù)據(jù)模型是一類重要的多元數(shù)據(jù)分析方法。隱含變量有三個(gè)重要的性質(zhì)。，可以用比較弱的條件獨(dú)立相關(guān)性代替較強(qiáng)的邊界獨(dú)立相關(guān)性。的deFinetti表示定理支持這點(diǎn)。這個(gè)定理說，一組可以交換的隨機(jī)變量當(dāng)且僅當(dāng)在某個(gè)參數(shù)給定條件下，它們可以表示成一組條件隨機(jī)變量的混合體。這給出了一組可以交換的隨機(jī)變量的一個(gè)多級(jí)表示。即先從某個(gè)分布抽一個(gè)參數(shù)，然后基于這個(gè)參數(shù)，獨(dú)立地從某個(gè)分布抽出這組隨機(jī)變量。第二，可以通過引入隱含變量的技術(shù)來方便計(jì)算，比如期望大算法以及更廣義的數(shù)據(jù)擴(kuò)充技術(shù)就是基于這一思想。具體地，一些復(fù)雜分布，比如t-distribution,Laplacedistribution則可以通過表示成高斯尺度混合體來進(jìn)行簡化計(jì)算。第三，隱含變量本身可能具有某種有可解釋的物理意思，這剛好符合應(yīng)用的場景。比如，在隱含狄利克雷分配(LDA)模型，其中隱含變量具有某種主題的意思。
　　
　　第二個(gè)例子，我們來看多級(jí)貝葉斯模型。在進(jìn)行MCMC抽樣后驗(yàn)估計(jì)時(shí)，上層的超參數(shù)總是需要先人為給定的，自然地，MCMC算法收斂性能是依賴這些給定的超參數(shù)的，如果我們對(duì)這些參數(shù)的選取沒有好的經(jīng)驗(yàn)，那么一個(gè)可能做法我們?cè)偌右粚樱瑢訑?shù)越多對(duì)超參數(shù)選取的依賴性會(huì)減弱。
　　
　　第三例子，深度學(xué)習(xí)蘊(yùn)含的也是多級(jí)的思想。如果把所有的節(jié)點(diǎn)全部的放平，然后全連接，就是一個(gè)全連接圖。而CNN深度網(wǎng)絡(luò)則可以看成對(duì)全連接圖的一個(gè)結(jié)構(gòu)正則化。正則化理論是統(tǒng)計(jì)學(xué)習(xí)的一個(gè)非常核心的思想。CNN和RNN是兩大深度神經(jīng)網(wǎng)絡(luò)模型，分別主要用于圖像處理和自然語言處理中。研究表明多級(jí)結(jié)構(gòu)具有更強(qiáng)的學(xué)習(xí)能力。
　　
　　2.自適應(yīng)
　　
　　我們來看自適應(yīng)這個(gè)技術(shù)思路，我們通過幾個(gè)例子來看這個(gè)思路的作用。
　　
　　個(gè)例子是自適應(yīng)重要采樣技術(shù)。重要采樣方法通?？梢蕴岣呔鶆虿蓸拥男阅?，而自適應(yīng)則進(jìn)一步改善重要采樣的性能。
　　
　　第二個(gè)例子，自適應(yīng)列選擇問題。給定一個(gè)矩陣A，我們希望從中選取部分列構(gòu)成一個(gè)矩陣C，然后用CC^+A去近似原矩陣A，而且希望近似誤差盡可能小。這是一個(gè)NP難問題。在實(shí)際上，可以通過一個(gè)自適應(yīng)的方式，先采出非常小一部分C_1，由此構(gòu)造一個(gè)殘差，通過這個(gè)定義一個(gè)概率，然后用概率再去采一部分C_2,把C_1和C_2合在一起組成C。
　　
　　第三個(gè)例子，是自適應(yīng)隨機(jī)迭代算法?？紤]一個(gè)帶正則化的經(jīng)驗(yàn)風(fēng)險(xiǎn)小問題，當(dāng)訓(xùn)練數(shù)據(jù)非常多時(shí)，批處理的計(jì)算方式非常耗時(shí)，所以通常采用一個(gè)隨機(jī)方式。存在的隨機(jī)梯度或者隨機(jī)對(duì)偶梯度算法可以得到參數(shù)的一個(gè)無偏估計(jì)。而通過引入自適應(yīng)的技術(shù)，可以減少估計(jì)的方差。
　　
　　第四個(gè)例子，是Boosting分類方法。它自適應(yīng)調(diào)整每個(gè)樣本的權(quán)重，具體地，提高分錯(cuò)樣本的權(quán)重，而降低分對(duì)樣本的權(quán)重。
　　
　　3.平均　　
　　其實(shí)，boosting蘊(yùn)含著平均思想，即我后要談的技術(shù)思路。簡單地說，boosting是把一組弱分類器集成在一起，形成一個(gè)強(qiáng)的分類器。好處是可以降低擬合的風(fēng)險(xiǎn)。第二，可以降低陷入局部的風(fēng)險(xiǎn)。第三，可以擴(kuò)展假設(shè)空間。Bagging同樣是經(jīng)典的集成學(xué)習(xí)算法，它把訓(xùn)練數(shù)據(jù)分成幾組，然后分別在小數(shù)據(jù)集上訓(xùn)練模型，通過這些模型來組合強(qiáng)分類器。另外這是一個(gè)兩層的集成學(xué)習(xí)方式。
　　
　　經(jīng)典的Anderson加速技術(shù)則是通過平均的思想來達(dá)到加速收斂過程。具體地，它是一個(gè)疊加的過程，這個(gè)疊加的過程通過求解一個(gè)殘差小得到一個(gè)加權(quán)組合。這個(gè)技術(shù)的好處，是沒有增加太多的計(jì)算，往往還可以使數(shù)值迭代變得較為穩(wěn)定。
　　
　　另外一個(gè)使用平均的例子是分布式計(jì)算中。很多情況下分布式計(jì)算不是同步的，是異步的，如果異步的時(shí)候怎么辦？簡單的是各自獨(dú)立做，到某個(gè)時(shí)候把所有結(jié)果平均，分發(fā)給各個(gè)worker,然后又各自獨(dú)立運(yùn)行，如此下去。這就好像一個(gè)熱啟動(dòng)的過程。
　　
　　正如我們已經(jīng)看到，這些思想通常是組合在一起使用的，比如boosting模型。我們多級(jí)、自適應(yīng)和平均的思想很直接，但的確也很有用。
　　
　　在AlphaGo和李世石九段對(duì)弈中，一個(gè)值得關(guān)注的細(xì)節(jié)是，代表AlphaGo方懸掛的是英國國旗。我們知道AlphaGo是由deepmind團(tuán)隊(duì)研發(fā)的，deepmind是一家英國公司，但后來被google公司收購了。科學(xué)成果是世界人民共同擁有和分享的財(cái)富，但科學(xué)家則是有其國家情懷和歸屬感。
　　
　　位低不敢忘春秋大義，我認(rèn)為我國人工智能發(fā)展的根本出路在于教育。先哲說：“磨刀不誤砍柴工”。只有培養(yǎng)出一批又一批的數(shù)理基礎(chǔ)深厚、計(jì)算機(jī)動(dòng)手執(zhí)行力極強(qiáng)，有真正融合交叉能力和國際視野的人才時(shí)，我們才會(huì)有大作為。
　　
　　致謝
　　
　　上述內(nèi)容是根據(jù)我近在第九屆中國R語言會(huì)議和上海交通大學(xué)的兩次講座而整理出來的，特別是R會(huì)主辦方統(tǒng)計(jì)之都的同學(xué)們幫我做了該次演講的記錄。感謝統(tǒng)計(jì)之都的太云、凌秉和象宇的邀請(qǐng)，他們和統(tǒng)計(jì)之都的伙伴們正在做一件意義影響深遠(yuǎn)的學(xué)術(shù)公益，你們的情懷和奉獻(xiàn)給了我信心來公開宣講自己多年來的真實(shí)認(rèn)識(shí)和思考。感謝我的學(xué)生們幫助我準(zhǔn)備這個(gè)講演報(bào)告，從主題的選定，內(nèi)容的選取，材料的收集以及幻燈片的制作他們都給了我極大的支持，更重要的是，他們讓我在機(jī)器學(xué)習(xí)領(lǐng)域的求索一直不孤獨(dú)。謝謝大家！