特斯拉自動駕駛之父離職教線上課程,AI 大老原來熱愛授業解惑

作者 | 發布日期 2022 年 08 月 28 日 0:00 | 分類 AI 人工智慧 , 人力資源 , 數位內容 line share follow us in feedly line share
特斯拉自動駕駛之父離職教線上課程,AI 大老原來熱愛授業解惑


幾年前史丹佛大學博士生 Andrej Karpathy 做了一件讓 AI 社群非常敬佩的事:創辦深度學習大學課程,且全部影片免費公開。

身為深度學習早期研究者和教育者之一,Karpathy 賭對了方向。經過十多年快速發展和技術創新,深度學習技術已驅動搜尋、圖像辨識、社群網路、工業自動化、自動駕駛等關鍵領域和產業。

由於研究成就突出,Karpathy 自己也成為應用 AI 技術發展的受益者。走出學術進入業界的第一份工作,就是特斯拉 AI 部門總監,領導 Autopilot 及整個特斯拉自動輔助駕駛技術研發,並帶領公司深入機器人等更多領域。

7 月 Karpathy 宣布離開特斯拉。當人們還在關注他下一站去哪,他卻毫不意外地「重操舊業」當起老師。

把「錘子」交到每個人手上

上週 Karpathy 重新啟用註冊多年但從沒用過的 YouTube 副帳號,上傳一支長達 2 個半小時的教學影片,標題「一步步帶你入門神經網路和反向傳播:構建 micrograd」。他表示,反向傳播(神經網路的基礎演算法之一)及構建神經網路,這支影片是目前門檻最低、最全面的講解。他還宣稱,只要觀眾對 Python 有基礎了解,且還記得一點高中階程度微積分,就能輕鬆入門:

如果看完還不了解反向傳播和神經網路核心,那我就直播吃鞋子。

(Source:Andrej Karpathy

Karpathy 用基本 Python 語言及他自己開發的 Micrograd 引擎,帶領大家完成神經網路構建、編寫損失函數、手動最佳化等基礎操作,且對反向傳播等關鍵知識系統性介紹。

至於授課風格,Karpathy 也非常理解當代年輕工程師寫程式時的煩惱,貫徹「talk is cheap, show me the code」理念:整堂課大部分時間就是直播螢幕畫面,一步步教大家寫程式碼。

Karpathy 曾在多倫多大學、史丹佛大學就讀,師從 Geoff Hinton、李飛飛,都是深度學習領頭羊。他也是 OpenAI 創始成員之一,曾在早期 Google Brain、Google Research、DeepMind 等知名研究機構實習。

身為深度學習領域的知名學者和從業者,Karpathy 出鏡相當頻繁,經常受邀至 CVPR、NeurIPS 等知名學術會議發表論文和演講,還曾受邀為 Nvidia Geforce 技術大會主嘉賓。

頗搞笑的是,2014 年他以「血肉之軀」在 ImageNet 挑戰賽對卷積神經網路發起挑戰,並獲得勝利,因此被學術界和業界戲稱為 ImageNet 的「人類基準」 (the human benchmark of ImageNet)。

然而很多人對 Karpathy 印象最深、最感激他的,是他讀博士期間一件大善事:創辦 CS231n,史丹佛第一門開給大學生的深度學習課程。

CS231n 以電腦視覺為主,深入淺出探討深度學習技術,開課第一年就有 150 名學生報名,到 2016 年上升一倍,次年又再升一倍。目前這門課為史丹佛所有院系報名人數最多、最受歡迎的課程之一,助教就有 16 人,和 Karpathy 一起創課的李飛飛至今仍擔任主講人。

更重要的是,開課第二年,Karpathy 就把 CS231n 的授課影片、講義、作業、筆記等大量資源全部公開。不只報名的學生,就算沒報到名、其他院校學生,乃至世界任何人,只要有網路就可免費上課。

再往前推 5 年,隨著 Udacity、Coursera 等公司的成立,「慕課」 (MOOC,大規模開放線上課程)理念廣為人知。這些知名公司平台也有不少電腦科學和機器學習課程。然 CS231n 橫空出世,特別是更先進和即時課程設計,以及沒有任何商業味屬性,使其成為前瞻深度學習技術普及的關鍵點。

關於為何免費開放課程,Karpathy 曾表示,當時非常強烈感覺到深度學習將成為有巨大革命性意義的技術,有望對社會各方各面廣泛運用,就像好用的錘子。但當年很多人連錘子都「買不起」,更別提了解能力或掌握用法──是他決定站出來免費發錘子給大家的原因。

這門課最有意思的地方,在於沒有提前定好、絕不偏離的課程主軸:「別科目上課,可能講 19 世紀知識。我們的課程經常今天討論的論文就是上週、甚至昨天才發表的。我們不是講核子物理學、不是上太空,你只需要基本微積分和代數知識,就能聽懂課程,了解和掌握正在發生的新事物。每次課程都在變,感受非常不一樣,但大家都非常享受。」Karpathy 說。

當時 Karpathy 還是博士生,當老師占去他大量時間和精力。每年教兩次、每次四個月,一到上課那段時間,他都不得不發動 120% 精力,甚至與博士學位相關研究工作都得停擺。「儘管如此,我還是覺得這門課是我讀博士期間的巔峰時刻。」

如果簡單瀏覽 Karpathy 的履歷,一般人可能不會以為他是教學型學者,但他真的特別熱中傳道授業解惑,特別是分享學習結果和掌握技能的獨特經驗。他曾以博士生過來人身分寫過經驗談,發表於史丹佛官網及個人 Podcast。如對大學生備戰考試,他真誠告誡大家「熬夜不值得」、「多找多換助教」、「備考初期自學,考前多交流」等。對糾結是否讀博士的學生,他寫過〈博士生存指南〉萬字文,從前期準備、導師選擇、研究課題、著述發表、學術演講等方面,分享大量想法和具體經驗。

如果你以為他只講深度學習,那就太小看他了。

對非本科系內容,他也會用業餘時間做長期、系統性研究和測試,然後寫成文章。如他 GitHub 帳號寫過「生物駭客」文章,分享於體育鍛鍊、斷食、血液檢測、體能藥物、睡眠研究等方面的測試經驗。

鮮為人知的是,Karpathy 還是專業的魔術方塊老師。

他有一個 alter ego 名叫 Badmephisto,還有專門講解魔術方塊知識的網站,做過教人如何解魔術方塊的 App(iPhone & Android),還在 YouTube 上傳大量教學影片,共有 900 多萬觀看數。

這老哥可真是上課成癮啊。

▲ Karpathy 在 Google 實習期間利用 Google Glass,錄製這段邊騎自行車邊解魔術方塊的影片。

AI 大老都愛上課

值得注意的是,不只 Karpathy,深度學習/AI 領域的大老級人物,都特別愛「上課」。很多人本身就在知名院校有常規或終身教職,一部分進入業界人士也有很強學術和教學背景,即使在業界身居高位忙到不行,仍對深度學習傳播和普及充滿熱情。

如 Karpathy 多倫多大學的老師 Geoff Hinton 教授,是反向傳播等深度學習核心演算法的發明人、深度學習領域「三劍客」之一、圖靈獎得主。有條評價這樣形容他:當其他人還在質疑機器/深度學習時,Hinton 在多倫多一邊默默教書,一邊持續研究,終於以一己之力復活機器學習研究和業界,堪稱深度學習之父。

自從他創立的 DNNResearch 於 2013 年被 Google 收購,Hinton 在 Google 一直有職位,但主要研究工作還是多倫多大學電腦科學系教授。雖然近年他不怎麼開課了,但仍然會花很多時間和精力,指導學生研究和參與論文寫作,也參與錄製深度學習神經網路的免費線上課程。

「三劍客」另外兩位成員 Yoshua Benjio 和 Yann LeCun 也有教職。Bengio 是蒙特利爾大學教授,也創辦 Mila 人工智慧研究所並擔任科學總監。他至今仍在學校和 Mila 研究所帶領和指導大量研究生、博士生和博士後研究員。他經常參加各種演講和授課邀請,之後影片也都會網路公開。

LeCun 在 Meta 擔任副總裁兼首席 AI 科學家,還是紐約大學電氣和電腦工程系教授。他誠懇表示過,自己可能沒辦法及時查看、回覆學校 Email 和電話留言。不過,至少去年他還在紐約大學資料科學中心(NYU-CDS)教深度學習課程。因疫情等原因,NYU-CDS 所有 LeCun 教授的深度學習課程,2020 年也都全部線上免費公開。

前幾年離職回校教書的原騰訊 AI Lab 主任張潼也是例子。他是機器學習領域知名的國際專家,曾經在美國大學拿到終身教職,在 IBM 研究院、雅虎研究院、百度 IDL 擔任研究和管理高階職位,還是 ICML、NIPS 等國際頂級學術會議的主席或領域主席。然而可能是更享受教書和學術界環境,張潼 2019 年初離開騰訊 AI Lab,到香港科大數學系和電腦科學工程系,直接拿到專為特別傑出且成就非凡的學者才設立的講座教授(chair professor)資格。

當然他也沒有完全離開業界,在港科大和創新工場間牽線搭橋,幫助兩家機構成立了聯合實驗室,專注基礎科研。現在他在港科大做研究、帶學生,這學期還開設 COMP6211E 和 MATH6450J 兩個和機器學習最佳化相關的課程。

這些熱愛傳道授業解惑的頂尖學者讓我們看到,即便高度商業化的今天,一項技術、一種知識,仍可藉教育這種古典形式,加上「免費網路課程」新方法,更高效、更具公益性普及。

這種大老請多來一點,最好不要停。

(本文由 品玩 授權轉載;首圖來源:影片截圖)