亞馬遜 AI 在履歷篩選中歧視女性?AI 犯錯不是第一次了

作者 | 發布日期 2018 年 10 月 17 日 10:49 | 分類 AI 人工智慧 , 軟體、系統 line share follow us in feedly line share
亞馬遜 AI 在履歷篩選中歧視女性?AI 犯錯不是第一次了


亞馬遜的 AI 招聘工具觸動了人類敏感的神經,據路透社報導,亞馬遜機器學習專家發現他們的 AI 招聘工具有一個明顯的傾向──在篩選履歷過程中重男輕女。

這事得追溯到 2014 年,亞馬遜開始嘗試用人工智慧篩選履歷,幫助公司挑選出合適的員工。對於一個大公司來說,篩選履歷是一項浩大的工程,每天的面試者來自各方,要從堆積如山的履歷中挑選出面試者的優點,並確認其符合公司標準,難上加難,不僅耗費精力還很花時間。

不用贅述,面試經驗豐富的人應該對一些大公司的面試週期記憶深刻。

透過系統的機器訓練,讓 AI 代替 HR 篩選簡歷,無疑能幫助公司節省大量的勞動力,並且更有效地挑選出合適的人才。萬萬沒想到的是,亞馬遜的 AI 卻戴上了有色眼鏡。

類似人類的情感傾向出現在 AI 上,本身就有悖於人類訓練 AI 的目的。我們希望人工智慧是中立、結果導向的,甚至在理性的前提下,會帶有一絲無情。

好在亞馬遜自己也發現了這個問題,去年已將負責該計畫的團隊解散。

人工智慧「性別歧視」的起因

在亞馬遜 AI 招聘歧視事件的最後,大家把問題歸咎於人工智慧訓練樣本上。因為在具體的訓練方法上,亞馬遜針對性開發了 500 個特定職位的模型,對過去 10 年簡歷中的 5 萬個關鍵詞進行辨識,最後進行重要程度的優先級排序。

因此簡單來說,AI 的工作還是抓取關鍵詞。然而在這些履歷中,大部分求職者為男性,他們使用諸如「執行」這樣的關鍵詞更加頻繁,而女性相關的數據太少,因此 AI 會誤以為沒有這類關鍵詞的女性履歷不那麼重要。

類似的事情同樣發生在 Google 身上。早在 2017 年,Quartz 報導了一篇題為《The reason why most of the images that show up when you search for “doctor” are white men》的文章,如果你在 Google 圖片上搜尋「doctor」,獲得的結果大部分都是白人男性。

一項來自普林斯頓大學的研究表明,這個搜尋結果與潛在的社會現狀有關。在普通人眼中醫生總是與男性相連,而護士總是與女性相連。

「正如一些資料科學家所言,什麼樣的輸入就有什麼樣的產出,沒有好的數據,演算法也做不出正確的決策。」

Google 意識到了這一點,調整了搜尋演算法。目前「doctor」的搜尋結果中,女性與男性的比例基本平等。

▲ 現在的搜尋頁面經過調整,並有多種搜尋可選擇。

人工智慧發展到現在,應用到實際的時間並不長。如果把它比做嬰兒,那它的成長有很大一部分依靠人類給予的養分與教育。人工智慧在機器訓練的過程中,所輸入的數據便是養分。科學家盡力將演算法調整到中立、客觀,但最終影響其輸出的還是數據。

即使數據中出現一個小偏差,人工智慧的最終行為也會將這個偏差放大。人類獲得的結果便是「歧視」──我們如何看待社會,人工智慧也會以相同的視角去看待社會。這個情況屬於普遍現象,其涉及到的不僅是技術問題,更是一個巨大的哲學問題。

今年 7 月份,微軟同中國發展研究基金會發布了《未來基石》報告。報告涵蓋了兩家機構對人工智慧的思考。例如微軟在人工智慧的開發中,將遵循 6 個道德基本準則,以創造「可靠」的人工智慧。

在微軟的人工智慧產品中,曾出現了聊天機器人小冰爆粗口的情況,同樣是源於訓練資料庫的影響。經歷該事件後,微軟修改了小冰的對話原則,並加強了對資料庫的過濾。但實際上仍然無法百分百避開資料庫中不健康的訊息。

想要訓練出更可靠的人工智慧,用戶同樣是很重要的力量群體。

AI 還有其他偏見

與其說人工智慧對這個世界有偏見,不如說是認知偏差。其演算法本身是沒毛病的,但經過演算法處理的數據則具有人類社會的特點,因此人工智慧行為也帶了人類的色彩。

這一點在不同的行業、不同事物的類型、甚至不同的文化與國家,都有各自的體現。

例如提到廚房裡的人,我們腦海裡通常會浮現出一名家庭主婦的形象,傳統的觀念即是如此。這種觀念由社會現狀決定,人類取用的數據由社會現狀決定,而人工智慧的認知由數據決定。

因此當一張男人站在廚房裡的照片經人工智慧辨識之後,它極有可能會把男人看成女人。

(Source:果殼網)

這是趙潔玉和她的導師文森·奧都涅茨研究的課題。果殼網《當人工智慧「學會」性別歧視》一文裡,詳細描述了他們研究課題的過程。最終發現把男人看成女人並不是程式 bug,而是因為資料庫的偏差。

除了廚房這個特定環境,他們還發現在照片中「做家事、照顧小孩子的就被認為是女性,開會、辦公、從事體育運動的則是男性」,有時候我們會發現人工智慧辨識的結果讓人哭笑不得,但究其原因卻又情有可原。

又如人工智慧會將印度海德拉巴的印度式婚紗錯認為中世紀的鎖子甲,只因為在其訓練的資料庫中,歐洲的數據更豐富,而來自第三世界的訊息少得可憐。這對於部分少數群體是極不公平的。

另一個相似的例子是,2015 年 Google Photos 將黑人標註成了大猩猩。雖然 Google 及時道歉並更正了演算法,但從側面來看,人工智慧仍然受提供資料中的一般特徵影響。它會將資料中的一般特徵誤認為整個世界的普遍特徵。

事件過去 3 年,儘管演算法已經相對更加成熟,資料庫更加豐富,人工智慧的壞毛病還是無法根治。據英國鏡報報導,用戶在使用 Google 翻譯時,結果裡出現了讓人毛骨悚然的宗教話語,在某些小語種下,特定的重複詞組會被 Google 翻譯成帶有宗教色彩的話語。

其緣由可能是 Google 翻譯在某些小語種的學習上,使用了聖經──這一全球最為廣泛翻譯的數據──做為訓練模型,進而導致該情況發生。在經過報導之後,Google 修復了這個 Bug。

一個不得不接受的事實是,人工智慧的偏見與小毛病將伴隨它成長。

(本文由 PingWest 授權轉載;首圖來源:shutterstock)

延伸閱讀: