
距離 Deepmind 研究科學家 Felix Hill 在 X 平台上最近一次發聲已經過去接近兩個月了。
不幸的是,這位研究科學家因長期與嚴重精神疾病抗爭於去年 12 月 5 日遺憾離開人世,而這項消息也由史丹佛大學兼任教授、Contextual AI CEO Douwe Kiela 在 X 平台確認。
I’m really sad that my dear friend @FelixHill84 is no longer with us. He had many friends and colleagues all over the world – to try to ensure we reach them, his family have asked to share this webpage for the celebration of his life: https://t.co/1QoyHmAD3p pic.twitter.com/6QZoZFhT3e
— Douwe Kiela (@douwekiela) January 2, 2025
噩耗傳出後,許多 AI 圈人士紛紛在 Douwe Kiela 的評論區緬懷起這位朋友。
即便是與 Felix 有學術分歧的 Gary Marcus 也表示:
儘管我們有時會在知識層面產生分歧,但聽到這個消息我感到非常遺憾。願他安息。
Oh no, despite the intellectual disagreements we sometimes had, I am very sorry to hear this. RIP.
— Gary Marcus (@GaryMarcus) January 2, 2025
Udio CEO 共同創辦人 David Ding、Google 資深研究科學家 Nataniel Ruiz、Meta 及 OpenAI 等多位研究科學家也紛紛發文表達哀思。
願逝者安息,向他的朋友和家人致以深切的哀悼。
知名 AI 研究者、紐約大學教授 Kyunghyun Cho 曾與 Felix 在 2014 年夏天於蒙特婁相識,後續也發文回憶過去。當時 Kyunghyun 是博士後,而 Felix 是訪問學生。他們因為一次關於文法結構的學術討論而成為好友,一起進行研究工作後,他們取得的其中一項成果是在 2016 年發表的論文中創造了「巨大表格」的趨勢,這個風格在此後的 3-5 年裡被學術界廣泛效仿。
人雖已逝,但 Felix Hill 留下的觀點光芒永存。即便是未曾謀面的同行也為其所折服。輝達資深研究科學家 Jim Fan 也在 X 平台轉發 Felix Hill 部落格,並藉此緬懷這位朋友。
這是我讀過的最令人心痛的部落格文章,因為它是如此真實,如此貼近內心。
作者已經不在我們身邊了。我忍不住流下了眼淚……
我從未有幸在現實中認識 Felix,但我熱愛他的研究視角,並為他的每一篇新論文設定了 Google Scholar 提醒。
他在智慧體和 VLM 領域的工作對我的研究產生了深遠影響。他本來可以成為一個好朋友。我真的想要了解他,但現在已經再也沒有機會了。
他帶領 AI 研究團隊,卻無法戰勝自己內心的惡魔
Linkedin 的公開資料顯示, Felix Hill 是個世俗意義上成績優異的好學生。他畢業於牛津大學的數學專業,也曾擔任牛津大學羽毛球隊隊長。研究生實習則在墨西哥國立自治大學,專業方向是認知科學、語言學和教育,專注於多學科交叉領域(認知科學和語言學)。這段經歷不僅豐富了他的國際視野,也拓寬了學術興趣。
2011 年到 2016 年, 他在劍橋大學先後攻讀語言學和計算語言學,期間還擔任高爾夫球隊隊長。
步入職場後,Felix 的事業發展也可謂順風順水。他曾投身教育事業,擔任 14 個月的數學教師,指導 14-18 歲的學生準備和申請大學;同時熱心公益,支持當地教育非政府組織。
2016 年後,Felix 曾長期在 Google Deepmind 工作。
在離世前,他在 Deepmind 主要負責領導一個研究語言與通用智慧互動的團隊。同時,他也開始將重心轉向前沿科技研究,專注於語言學、機器學習和 AI 模型開發。
Google 學術資料顯示,其論文總引用次數達 19680 次,h 指數為 42,其中 2020 年後的引用更高達 16,608 次,對相關領域產生廣泛的影響。
(Source:網頁截圖)
在 X 平台,這位朋友在自我介紹中寫道:
我試著認真思考每一則推文的內容,尤其是關於 90 年代足球和 80 年代音樂的部分。我的觀點完全是我自己的,絕不代表他人。
然而,這位在世俗眼中取得巨大成功的 AI 研究科學家,卻一直與嚴重的精神疾病抗爭。在 Felix 的部落格中,他也記錄了自己人生最後階段的心路歷程:
2023 年 4 月,他的母親因阿茲海默症去世,同期他因急性精神病住院治療,可能是壓力誘發。之後 12 個月一直處於極度焦慮和深度憂鬱狀態。
在得到了雇主的理解和支持,包括治療支持和精神關懷,以及經過 6 個月危及生命的抑鬱期後開始好轉,開始思考並記錄自己對壓力與焦慮的觀察和理解。然而,命運往往弄人。去年 12 月 5 日,這位朋友最終還是過早離開人世。
RIP🕯️
附上 Jim Fan 轉寄 Felix Hill 的部落格原文
2,000 億權重的責任,現代 AI 工作的壓力
作者:Felix Hill,2024 年 10 月
在過去兩年裡,AI 領域發生了不可逆轉的變化。
ChatGPT 的每月活躍用戶已接近 2 億人次。 Gemini 在 2024 年 5 月的訪問量接近 3.2 億次。如今,AI 愛好者甚至可以使用 AI 微波爐、AI 牙刷,甚至是 AI 足球。
然而,對於我們許多從事 AI 工作的人來說,這種大眾興趣的激增既是一種福祉,也是一種負擔。確實,薪資水準提高了,股票價格和市場估值也隨之上漲。但同時,這種改變也帶來了一種獨特的壓力。
這篇部落格是關於現代 AI 帶來的壓力的。它的目標讀者是從事 AI 工作的人(根據保守估計,這大約占世界人口的 87%),尤其是從事 AI 研究的人員。
最終,我希望透過討論 AI 研究中讓人感到壓力的因素,能夠讓那些有幸從事這一領域的人生活變得更加愉快。因為儘管當前一片混亂,這依然是一份美好而充實的職業;一個有潛力解答許多科學、哲學甚至人類自身偉大問題的職業。
無所不在逃避
幾個月前,我參加了一個朋友的 40 歲生日派對。我們是密友,所以我認識派對上的不少賓客,有些人還非常熟悉。但也有一些人是我完全不認識的。
在那些我不太熟悉的人中,我注意到一個奇怪的現象。
儘管我當時身體不太好(稍後會提到這個),顯然也不太想主動參與交談,但周圍還是排起了一小群人,只因為大家知道我在 DeepMind 工作,很多人想和我交談。
這些對話不是關於足球或 80 年代音樂這樣讓人放鬆的話題,而是關於我最想避免的話題:AI。雖然大家對我的工作感興趣讓我感到受寵若驚,但這也讓我意識到過去兩年間發生了多麼巨大的變化。銀行家、律師、醫生和管理顧問都想讓我對 ChatGPT 發表看法;儘管他們中的很少人直接在工作中使用這些 LLM,但他們都確信 AI 正在發生一些重要的變化,而這是他們必須了解的。
身為研究人員,我相信你能理解那種在社交場合無法「關閉開關」的感覺。
但事情變得更糟了。甚至在我自己家裡,我也無法逃離。
我早已不看新聞,因為害怕引發焦慮。但即使在看足球、VH1、蒙塔巴諾探長,或者那部精彩的《那不勒斯四部曲》的改編電視劇時,廣告中也充滿了對 AI 的提及。
在這段時間,我常常想收拾行李,跨越大陸,加入一個隱居的宗教團體。儘管我不會感到驚訝,甚至 Vipassana 瑜伽現在可能也在某種程度上被 AI 滲透了。
隱含的競爭
幾家大公司似乎在競爭開發最大、最強大的大型語言模型,這本身就帶來了巨大的壓力;無論你為哪家公司工作。
在目前的 AI 研究中,有時會讓人感覺像是參與一場戰爭。從阿道夫‧希特勒到荷蘭‧舒爾茨,我們都知道,參與戰爭可能會導致嚴重的後果,包括精神疾病、離婚和自殺。
當然,這並不是將參與 AI 研究等同於「真正戰爭」中的身體戰鬥。但根據我的親身經歷,這兩者之間的相似性儘管略顯牽強,卻是真實存在的。
影響公司底線
通常來說,從事工業研究的研究人員並不習慣自己的工作會對雇主的底線產生直接而即時的影響。
當然,許多研究人員夢想著能有這樣的機會。但過去這通常只是十年才會發生一次的事。
如今,基礎研究對 LLM 的結果通常僅能導致模型表現的細微、短期的波動。然而,由於大眾對 LLM 表現的高度關注,這些波動可能反過來導致股價的數十億美元波動。
這種動態顯然非常具有壓力,而這並不是 AI 研究人員在研究生院、博士後甚至 2022 年之前的工作中所能被訓練應對的。
金錢,金錢,金錢
大多數 AI 研究人員,尤其是那些超過一定年齡的人,從事研究的初衷並不是為了賺錢。為自己熱愛的工作賺到一大筆錢聽起來像是一劑良藥,但這同樣可能引發強烈的焦慮感。特別是當促使收入增加的外在因素不在自己掌控之中,或是這些因素讓自己對這份工作的熱愛減退時,這種焦慮尤其明顯。
無論是否與 AI 有關,大量證據表明,突然累積財富可能引發各種問題;只需看看那些經過多年努力終於一夜成名的演員或歌手就知道了。成癮、破裂的關係、破碎的友誼,甚至自殺,都是一些較常見的後果。這些問題讓我個人深有體會。
科學家無用武之地
LLM 的規模、簡單性和高效性使得科學研究很難變得「相關」,也就是說,很難直接幫助提升 LLM 的表現。
許多頂尖的 LLM 研究人員已經開始推崇 Rich Sutton 的「苦澀教訓」:幾乎不需要任何超越規模擴展之外的創新。
即使理論上存在進行實質創新的可能性(毫無疑問是存在的),要實現這些創新往往需要在不同條件下反覆訓練最大規模的 LLM。這甚至是目前最大的公司都難以承擔的事情。對於一名「普通」的研究科學家來說,這種情況可能令人心力交瘁。
這些條件對那些習慣在小團隊(5-10 人)中工作的工業科學家來說已經非常嚴峻。而對於學術界的 PhD、博士後以及 AI/CS/ML 的教職員來說,這種壓力無疑地更加劇烈。
發表論文
儘管學術界的研究人員可以(並且應該)繼續發表他們從 LLM 實驗中獲得的見解,但對於工業界的科學家來說,發表論文是否仍然是研究的一種可行結果卻變得越來越不確定。
發表論文長期以來一直是科學過程的核心部分,也是 AI 研究的重要原則。大多數我交談過的 AI 研究人員,特別是研究科學家,都認為發表論文是我們職業生涯中不可或缺的一部分。
然而,至少在工業界,在過去兩年中,是否將研究成果發表做為可行的選擇變得越來越不確定。即便是能夠稍微改善 LLM 表現的一些小技巧,也可能成為 LLM 戰爭中的關鍵「武器」。是否應該公開這些「祕密」,以及這是否對資助研究的機構有利,始終是一個微妙的問題。
這一切都意味著研究人員經常無法控制自己想法的命運。而至少對我來說,這種情況會引發極大的壓力。
新創企業
當然,從這些擔憂中逃離的一種可能途徑是形成科學願景,籌集資金,創建一家新創公司。事實上,目前 AI 新創公司(無論大小)的激增表明,許多科學家已經選擇了這條道路。
然而,成為創辦人並不能保證你能夠擺脫與壓力相關的問題。事實上,這條道路以其高壓力而聞名。即便在當前投資者熱情高漲的情況下,許多資金充足的 AI 新創公司仍然失敗。根據我的親身經歷,身為創辦人是一段特別孤獨的旅程。這無疑是當前有抱負的科學家的可行選擇,但它並不會讓科學研究變得輕鬆,也不會減輕壓力。
為什麼我選擇寫一篇關於壓力的部落格?
過去兩年對 AI 世界來說是混亂而瘋狂的,同時對我個人而言,也是特別動盪的時期。
在 2023 年 4 月,我的母親在與阿茲海默症長期鬥爭後去世了。而那時,我因急性精神病住在精神病院,壓力很可能是誘發這一切的重要因素。在接下來的 12 個月裡,我理論上是在恢復,但實際上卻一直處於極度焦慮和深度憂鬱的狀態。在這段時間裡,我非常幸運擁有理解我處境的雇主(以及認可我對公司貢獻的價值),他們為我提供了持續的治療支持和道德上的關懷。
又經過了 6 個月的危及生命的憂鬱期後,我終於開始感到好轉,最近也覺得有能力寫下自己的經歷。我意識到,壓力和焦慮總是形影不離;事實上,它們可能本質上是同一回事。當然,像任何適應性特質一樣,焦慮在某種程度上是有益的(例如它可以提升生產力),但當焦慮變得惡性時,其後果可能會非常嚴重。
正是在回顧過去兩年 AI 領域的經歷,同時努力重新學習如何成為 AI 研究員的過程中,我得到了我在這篇部落格中分享的見解。當然,僅僅分享這些見解並不能解決所有問題,但在我最黑暗的時刻,唯一讓我看到希望的事情之一是知道我並不孤單。如果你現在正處於痛苦之中,請相信我──你並不孤單。
社交焦慮
我已經討論了許多可能讓目前從事 AI 研究的人感到壓力或焦慮的原因。但還有一種壓力形式我尚未提及,因為我很幸運自己從未經歷過。這種壓力就是社交焦慮。
根據朋友的描述,那些有社交焦慮的人會覺得團體互動充滿挑戰。而在現代 AI 的世界裡,這樣的困難尤其突出,因為大型專案團隊和跨洲際合作已經成為不可或缺的部分。當今產業內的高流動率只會讓問題變得更為嚴峻,因為已經建立的團隊(通常被視為一種社交「安全網」)可能在一夜之間被摧毀。而人員的頻繁流動也會導致信任問題,因為曾經可靠的盟友可能會加入「敵對」的研究團隊。
好消息是,正如我之前討論的所有焦慮或壓力的表現一樣,社交焦慮也是可以被克服的。克服的過程始於培養自然的支持網絡,例如依靠家人和「非 AI」領域的朋友。但關鍵的第二步是,我們所有從事 AI 工作的人開始並持續進行關於壓力的坦誠對話。
因此,請透過推文或評論分享你的經驗。讓我們一起努力,讓 AI 研究不僅是一個充滿活力、充滿智力挑戰的地方,更是一個充滿同情和善意的領域。
(本文由 愛范兒 授權轉載;首圖來源:Felix Hill)