《大演算》書摘-機器學習的五大學派

作者 | 發布日期 2016 年 08 月 03 日 11:58 | 分類 AI 人工智慧 , 推薦書摘 , 科技教育 line share follow us in feedly line share
《大演算》書摘-機器學習的五大學派


一套機器學習演算法就像一位大師級的工匠一樣:每一項它的產出作品都不相同,而且可以為客戶的需求量身定做。然而不是要將石頭變成磚瓦,黃金變成珠寶,機器學習機是要將數據資料轉化為演算法。而且擁有越多的數據資料,便能歸納出越複雜的演算法。以下由三采文化,摘自《大演算:機器學習的終極演算法將如何改變我們的未來,創造新紀元的文明?》的部分內容。

我們如何能知道,人類已經真正找到大演算?當相同的學習器只有參數的改變,而且除了數據資料以外,只需要輸入最小量的學習範本,就可以和人類一樣,理解影音與文件內容,並能在生物學、社會學及其他科學領域,做出重大的新發現。顯然,在這種標準下,目前還沒有任何學習器已經被證明就是大演算,即使在不太可能的情況下,已有能解決某領域的演算法存在,仍不足以承擔機器學習統一理論的大局。

在探求大演算的過程中,我們不必辛苦從無到有。我們已經有幾十年的機器學習研究,可以從中借鑑完整全貌。機器學習領域目前存有許多互相競爭的思想學派,包括符號理論學派(Symbolists)、類神經網路學派(Connectionists)、演化論學派(Evolutionaries)、貝氏定理學派(Bayesians)和類比推理學派(Analogizers)。每個學派都有一套核心理念,以及一個它最關心的特定問題,也針對這個特定問題,基於其相關領域的科學概念,找到一個適合的解決方案,並且擁有一個主要的演算法,可以適度體現它的機器學習行為。

對於符號理論學派來說,所有的智慧可以被簡化成操縱符號,就像數學家求解方程式的過程,是透過用其他表達式來替換表達式的方法。符號理論學派明白,你不能從頭學起,你需要一些初步的知識,與數據資料相配合。符號理論學派們已經找到了如何將先前存在的知識納入學習,以及如何快速地將不同的知識進行結合,以解決新的問題。他們的主要演算法是逆向的演繹法(Inverse Deduction),透過這種演算法可以找出哪些知識是欠缺的,以便能做出邏輯的演繹推論,然後使其盡可能地被通則應用。

對於類神經網路學派來說,學習就是人類大腦所做的事情,所以我們需要做的,就是對大腦進行反向工程。大腦的學習是透過調整神經元之間的連結強度,而關鍵的問題是找出哪些神經元的連接,必須對哪些錯誤負責,並依此對應地改變它們。類神經網路學派的主要演算法是倒傳遞理論演算法(Back propagation),它會比較系統的輸出與期望的輸出,然後依次改變一層又一層的神經元連結,以便使得輸出結果可以更接近於它應該呈現的。

演化論學派則認為,所有學習之母就是物競天擇。如果物競天擇可以造就我們,那麼它就可以造就任何事情,而我們所需要做的,就是在電腦上模擬它。演化論學派所解決的關鍵性問題就是學習的結構,不只是調整參數而已,就像倒傳遞理論演算法所做的,可以創建一種能夠讓這些調整進行微調的大腦。演化論學派的主要演算法是一種遺傳程式規劃(genetic programming),就像大自然會交配與演化生物一樣;同樣地,遺傳程式規劃也會以相同的方式,繁衍與演化電腦程式系統。

貝氏定理學派最關注的課題就是不確定性。這門學派主張所有學到的知識都是不確定的,而且學習本身就是一種不確定的推理形式。那麼這個問題就變成如何處理雜訊、不完整,以及相互矛盾的資訊,而不會造成分崩離析。解決的辦法就是機率推理,而主要的演算法是貝氏定理與其衍生物。貝氏定理告訴我們如何把新證據轉化為信念,而機率推理演算法則盡可能有效地做到這一點。

對於類比推理學派而言,學習的關鍵是認識各種情況之間的相似之處,從而推斷其他情境的相似地方。如果兩位患者都有相似的症狀,也許他們患有相同的疾病,問題的關鍵是要判斷兩件事情之間是如何相似。類比推理學派的主要演算法就是支持向量機(Support Vector Machine,簡稱SVM),它可以找出哪些經驗是需要記住的,以及如何結合這些經驗,做出新的預測。

針對各個學派的核心問題,每個學派都有提出相對應的解決方案,這些解決方案都是相當卓越,且得來不易的進展。然而真正的大演算,是必須同時解決這五類問題,而不只是一個。我們的探索追求,將帶領我們跨越這五個學派的每一個領地。每個領地之間的邊境通道,是它們可能會遇到交涉與小衝突的地方,這將是這趟大演算探索旅程中最棘手的部分。你準備好了嗎?我們的學習旅程就從拜訪符號理論學派開始,這個學派可說是機器學習最古老的智慧根源。

the master algorithm

《大演算》簡介

有一個終極演算法,可以解開宇宙所有的祕密,現在大家都在競爭,誰能最先解開它!華盛頓大學電腦工程系教授佩德羅.多明戈斯(Pedro Domingos)破解了一個在機器學習領域中長久以來的瓶頸,成功把機器學習、哲學與人工智慧結合起來,這個突破性研究還登上了《新科學人》(New Scientist)雜誌的封面故事。