台版 AI 對話引擎年底釋大模型,奠定商業版發展基礎

作者 | 發布日期 2023 年 06 月 15 日 8:23 | 分類 AI 人工智慧 , 數位內容 , 網路 line share follow us in feedly line share
台版 AI 對話引擎年底釋大模型,奠定商業版發展基礎


台版 AI 對話引擎初代模型 14 日亮相,能將「Taiwan’s own Jay Chou」譯成「台灣歌手周杰倫」,也可自動摘要、寫信推薦台灣旅遊必去景點。國科會表示,希望年底釋出更大的模型,後續團隊擬規劃商業授權版。

人工智慧(AI)浪潮席捲,隨英文、簡體中文版聊天機器人相繼問世,相關爭議叢生,國科會拍板,公私協力發展融合台灣元素、以正體中文為主的「可信任人工智慧對話引擎」(Trustworthy AI Dialog Engine,TAIDE),TAIDE計畫經費約新台幣2億元至3億元。

國科會召開記者會,公布第一階段完成「7B」中模型(參數量為70億),此模型是在LLaMA(Meta推出的語言模型)原型基礎上,由國內學界專家進一步發展及訓練調校。

何謂「7B」,國科會科技政策諮詢專家室資通訊群組召集人李育杰解釋,參數量越多,代表這模型的複雜度越高,訓練的成本就越大,對應的資料量也得更大;目前ChatGPT採「GPT-3.5」模型則是175B。

談及TAIDE規劃,李育杰表示,目前展示的7B模型可做到自動摘要、翻譯文本、寫信、寫文章等4個面向;在記者會播放的示範影片中,7B模型可翻譯簡短英文段落,把其中的「K-Pop sensation BTS」譯為「韓國男子音樂團體BTS」、「Taiwan’s own Jay Chou」翻成「台灣歌手周杰倫」。

同時,7B模型可用寫信的方式,推薦台灣旅遊的5個必去景點。

下一步要陸續往大模型推進,李育杰指出,第2階段在任務處理上,包含認識台灣、事實查核與詐騙防範,檢視模型能否成為「好幫手」。

針對第3階段的可信任模型,李育杰說明,是做到信任的提升、阻絕涉及犯罪等不該產生的回應,同時考量倫理因素。

李育杰表示,最後則是整合前面3階段,展示「昇華」系統,讓任務的達成更具水準。

李育杰指出,TAIDE模型訓練由小到大,團隊在過程中累積經驗,是「最科學、最節儉」的方式;下半年國網中心會增設一些新設備,盼10月順利取得全球搶單的H100新GPU,讓H100投入大模型的訓練,過了10月也希望取得較大的算力。

此外,李育杰說,LLaMA是授權學術使用,「不拿去賺錢、大概就沒什麼問題」;不過,呼應業界商用及訓練需求,後續團隊擬規劃商業授權版模型,但這就不會是在LLaMA基礎上。

他指出,業界也很想知道,訓練13B模型要投入多少成本、基礎模型要怎麼樣Fine-Tune(微調)、後續如何加強能力,達到真正的合用,因此團隊希望把SOP、經驗與業界交流。

李育杰表示,未來除做源碼檢測確保資安要求,TAIDE模型能否抵抗「越獄測試」(比如不能問涉及犯罪問題,但換個方法問套出答案),也是關鍵,之後會進行「紅隊演練」 (Red Teaming),由白帽駭客尋找系統可被利用的潛在高度風險弱點。

(作者:張璦;首圖來源:shutterstock)