這些 AI 產品幫助 4.3 億人越過語言障礙

《愛范兒》報導過歐美音樂節有個特別工作：手語翻譯員。

聽障者雖然聽不見或聽不清楚音樂，但可用手語翻譯員感染力極強的動作、臉部表情、肢體語言，感受音樂律動、氣氛多熱烈，這可能是正常人想不到的。其實無論線上線下，需手語翻譯員的地方還有很多，但僧多粥少。

英國人 Sally Chalk 2002 年開了手語翻譯公司，20 年經營下來，規模可觀，預約手語翻譯員時間也縮短到 30 分鐘，但她還是不滿足。聽障者能否馬上找到手語翻譯，就像影音網站打開字幕方便？她的答案是，讓 AI 加入。

從網路到現實，讓聽障者多用「母語」

2022 年 Sally Chalk 創立新創公司 Signapse，專注開發生成式 AI 手語翻譯軟體，將文字即時翻譯成美語手語和英文手語。5 月 Signapse 拿到 200 萬英鎊種子輪融資，50 萬來自英國政府，目標是現實場景，如火車站、機場等交通樞紐。美國辛辛那提／北肯塔基國際機場已和 Signapse 合作，螢幕投放手語，「說出」歡迎、安全、出發、到達等資訊。

而 AI 如何運作？Signapse 基於大型手語資料庫，用生成對抗網路（GAN）和深度學習創造逼真、盡可能準確的虛擬手語翻譯員。虛擬形象基於真人手語翻譯員，每次商用真人都能分成。考慮到機場目的地、出發時間、登機門號碼經常變動，整合交通數據，Signapse 手語翻譯可即時更新。

Signapse 也沒有忽視網路需求，支援網站和影音串流平台手語翻譯。雖然 YouTube 等大平台有隱藏式字幕，但聽障者更喜歡手語，因手語有自己語法結構和表達形式，讓他們體驗更好。

提到手語時必須分別美語手語、英文手語，因手語也是包羅萬象。聯合國統計，全世界約七千萬人以手語為主要交流方式，全世界手語有 300 多種，僅美國就有 50 萬人「說」美語手語。

Signapse 能做的其實也有限，只涵蓋美語和英文手語者，以及某些垂直場景。兩年前 Signapse 每天發出約五千次英文手語交通公告。Signapse 希望服務更普及，拓展到教育等領域，更個人化，支援使用者自定義虛擬手語翻譯員外觀。

2022 年冬奧，中國央視新聞和百度智慧雲曦靈聯合打造 AI 手語主播上線，天津理工大學聾人工學院參與手語語料標註。AI 手語主播背後，百度智慧雲曦靈 AI 手語平台能滿足醫院、車站、銀行等快速手語翻譯需求，和 Signapse 英雄所見略同。

如果手語翻譯改進空間比海更深，至少聽障者取得公共資訊的方式可經 AI 改善，持續掀起波浪。

手語界的多鄰國

聽障者也會「聽」音樂？看文字是否就夠了？這些是典型聽力正常人邏輯。應該反過來問：音樂節怎麼讓聽障者也能參與？網路怎麼讓聽障者體驗更舒服？不是某個人流如織的車站多放一塊螢幕，而是螢幕本就該放在那裡。

更多公司、更多個人藉助技術力量，讓手語越來越有存在感。正常人學手語是較易想到的方式，如 PopSign 可邊玩邊學手語，由 Google、羅徹斯特理工學院、喬治亞理工學院合作開發，有 Android 和 iOS 版，最主要用戶群體是聽障孩童的正常聽力父母。

吸收背單字從「abandon」（放棄）開始也以放棄終結的教訓，PopSign 不只無聊播放手語影片，而是用小遊戲增強學習手語的興趣和信心，和瘋狂催人打卡的多鄰國異曲同工。

想當手語界「多鄰國」的，還有美國公司 SLAIT，也是沉浸式互動課程和測驗，如果回答正確，AI 導師會給予立即回饋，適量情緒價值。不過教手語只是 SLAIT 第二選擇，他們一開始想做的，其實是即時視訊聊天和翻譯 AI 手語工具。但巧婦難為無米之炊，SLAIT 只是小團隊，沒有足夠資料庫，也沒有足夠資金，比起直接翻譯整句手語，教單字更簡單，但同樣有價值。

翻譯手語的辛苦，就交給財大氣粗的科技巨頭解決了。

2023 年 8 月，聯想巴西開發基於 AI 的即時聊天翻譯 App，翻譯葡萄牙文手語，之後會推廣到其他語言手語。當聽障者對鏡頭比手語，演算法會即時翻譯成葡萄牙文，傳送給接收者。這類工具可多多益善，更與手語教學服務互補，讓聽障者更主動，能成為開啟對話者。

Google 更為產品導向，舉辦 2023 年 Kaggle AI 手語辨識比賽。主題很有趣：參賽者基於聽障者自拍的 300 多萬種手指拼寫素材，構建以智慧相機快速追蹤手指、手掌和臉部的手指拼寫模型。手指拼寫屬手語的一種，手指不同形狀和位置可表示某英文字母，對很多殘障人士來說，手指拼寫比用智慧手機打字快多了。