語音辨識 AI 比賽惹爭議, 科技部說明滅火但難撫平不滿(新增科技部說明)

作者 | 發布日期 2018 年 12 月 12 日 18:43 | 分類 AI 人工智慧 follow us in feedly


語音辨識是不少科技廠努力的方向,但是台灣處於尷尬的人口數,科技廠不大會特意花資源辨識台灣人的口語說話方式,而用政府力量來鼓勵研究者開發能有效辨識台灣人語音也是再正常不過的方法。科技部今日 (12/12) 開記者會說明《科技大擂台與AI語音對話比賽》比賽爭議,卻仍然留下諸多疑點。

科技大擂台總獎金共 2,500 萬元,第一名 2,000 萬元,第二名 500 萬元,從去年公告後,經過半年的初賽,即將於 12 月進入複賽階段,而主辦單位在上禮拜五的複賽前夕才臨時公告,條列出得獎最低門檻,引發爭議。公告上說若要拿到獎金,除了要奪得第一、二名外,所有答題的正確率都必須高於所設的門檻,否則無法獲得獎項,讓不少參賽者在貼文下留言批評。

【公告 決賽得獎門檻】 想要2000萬獎金嗎? 想要的話就給你們好了,自己去達到門檻吧!! 基哥把所有獎金都拿出來了選手們為了那偉大的榮耀,爭相前往「語音AI的世界」。可以說是一個「大AI時代」! ■決賽得獎門檻…

Formosa Grand Challenge 科技大擂台さんの投稿 2018年12月7日金曜日

主辦單位國研院科政中心今天召開記者會回應爭議,卻難免被批評沒有要發獎金的意思,除了等到比賽進行到複賽階段之前,才公布複賽和決賽的詳細比賽辦法與標準,另外所列出的辨識率要在有背景噪音下達到七成以上,也可能讓首獎獎金 2,000 萬最終難以發出去。

▲ 原本高額獎金鼓勵參賽者做出高辨識率的語音 AI,卻因主辦方疏失,現場比賽的語音資料出錯誤,初賽之後比賽辦法無即早公布,最高額獎金難以達成目標等問題,造成參賽者不滿。(Source:科技大擂台)

科政中心表示,他們是依據外國人來台灣,俗稱華語托福的華語文能力測驗通過標準 72.5% 當作門檻,來套在 AI 辨識語音上面,取 70% 的正確辨識率。決賽中只要通過 70% 辦識率這門檻,就有機會拿到最高獎金 2,000 萬。一般來說語言檢定不論是托福或雅思,都不會在聽力部分加入一堆噪音進來,增加非母語受試者的負擔。一般人能理解要做出有用的 AI 語音辨識,必須克服背景音之下辨識人聲,但這樣類比語言檢定的說法難以說服人,是否能將正確率延用進比賽規則中也值得商榷。

這次 AI 比賽的爭議,即便提倡 AI 的科技部長陳良基再親民,願意上來比賽 Facebook 粉絲頁回應參賽者的怒火,主辦方卻用主辦方有權更改規章的帝王條款,解釋他們快到複賽前公布比賽辦法。辦比賽應該要在比賽前就訂出完整的比賽辦法,即便發現有疏漏,主辦方有權更動,要用到帝王條款也不宜動規章動太大。火上加油的地方是還說 2,000 萬獎金可能發不出去,要留到明年 AI 資安主題比賽。

科技部陳部長被譽為點子王,上任後致力推廣 AI 發展。原先科技部舉辦比賽的出發點立意良善,希望以高額獎金激勵台灣團隊提升技術能量,但有可能因為主辦方出的大大小小疏失,將可能導致產學研各單位對政府發展 AI 的用心打了折扣。

科技部最新回應:

「科政中心推動辦公室召開專家會議研商,經參酌初賽各團隊表現,以及國家華語文能力聽力測驗歷年之平均通過率 72.5%、門檻正確率 72%,經決議將 AI 語音理解對話能力以 80% 正確率設為挑戰目標,惟公告時間接近賽前賽,致團隊誤會臨時提高門檻。另有部分考題格式及錄音品質等疏失,本部及執行單位一併表達歉意,除後續加強行政流程及語音品質查驗外,將於明(108)年 1 月加賽,由參賽者就 12 月 8 日賽前賽與 1 月之加賽,擇優成績計算,並加計本週六(12月15日)既定之現場賽成績,選出前 10 名晉級決賽

本競賽期望打造 AI 對話演算法在真實人機對話情境(例如背景嘈雜與國台語交雜等)中應答無礙,惟 8 日辦理含背景音之複賽賽前賽後,團隊答題正確率確有明顯下降,為鼓勵參賽團隊持續精進語音、語義理解技術能力,也適度反映現況;經討論後,決定適度調整本屆獎金發放門檻。決賽答題正確率比照國家華語文能力測驗,以正確率超過 72% 且為第 1 名的隊伍,將可獲得 2,000 萬元獎金,相關比賽也將持續進行,期能達成原先設立競賽目的,鼓勵並促進 AI 的蓬勃發展應用。

(首圖來源:科技新報)