人工智慧下放邊緣運算,英特爾發展新世代晶片架構因應

作者 | 發布日期 2024 年 04 月 09 日 13:45 | 分類 AI 人工智慧 , IC 設計 , 半導體 line share follow us in feedly line share
人工智慧下放邊緣運算,英特爾發展新世代晶片架構因應


英特爾業務暨行銷事業群商用業務總監鄭智成表示,在當前人工智慧市場需求激增的情況下,接下來人工智慧市場仍舊會有大量的商機出現。然而,與過去不同的是,過去會比較著重在雲端運算的資料中心需求中,未來則會是在生成式人工智慧應用普及的情況下,邊緣運算的人工智慧需求與發展成為市場關切重點,這其中還包含了軟體與服務。

鄭智成在「AI 應用拓新局,半導體技術新挑戰」的研討會中,在主題「人工智慧晶片架構解析」的主題中表示,接下去的幾年當中,邊緣運算的人工智慧會有很高速的成長。尤其,前面的主要都是在於雲端運算的基礎建設部分,接下去更快的成長是在軟體跟服務。其中,應用軟體的發展與服務會是快速成長,這其實就是系統整合商的生意機會。因為有這麼多的企業與政府需求,市場必須要開始去做導入,那這是新的領域。所以,對於很多這個系統整合公司來講,這是個很好的這個機會。

而對於這樣的邊緣運算人工智慧需求,英特爾也提出了新人工智慧晶片架構產品來進一步因應。透過這樣建構的晶片架構。可以將人工智慧應用將會下放全新的嘗試當中,那就是 AI PC 的部分。過去大規模人工智慧的訓練幾乎不可能在邊緣處理的狀態,在 Meta 開源了 Llama 之後,許多企業都開始將應用架構在 Llama 之上。而由於 Llama 的參數量約在 70 億個上下,這數字約 16GB 大小,就可以下放到邊緣運算機制中,這就開啟了相關邊緣人工智慧運算的契機。

鄭智成舉例指出,目前將人工智慧晶片用在 AI PC 可以降低視訊會議的周遭噪音干擾。也就是當使用者在進行視訊會議工作之際,可以透過邊緣運算人工智慧的協助,降低周遭的噪音進入到麥克風中傳出去,使得視訊會議進行更加流暢順利。這樣的作業談起來可能簡單,但是要讓晶片算力能在長時間的視訊會議中執行,而且還有低功耗的特點,這會是一個挑戰。另外,如果視訊會議的對象是透過手語溝通,以當前的人工智慧應用來說,還是可以透過即時辨識來了解對方表達的意思,達到雙向無礙溝通的情況。這些相關的應用,英特爾在 2024 年也將會有 100 個供應商的 300 個相似應用建立,讓英特爾新的人工智慧晶片發揮功用。

就晶片架構內容來說,鄭智成表示,以英特爾新一代 Meteor Lake 處理器來說,其具備人工智慧功能首先必須晶片中有 NPU 的功能。這個 NPU 是整合在整個處理器中,其與 CPU、GPU、I/O、SoC 等封裝在一個晶片內,不是單獨存在。另外,就是把 NPU 概念下放到邊緣的物聯網應用上,使物聯網也能在作業時有人工智慧的功能。例如,奧迪在汽車生產時,以 IoT 產品來檢查焊接點。相較於從前都要用人工去檢查這些焊接點,每天有五百萬個這個焊接點要檢查,這需要耗多少人力。但是現在當然全部都是用電腦的人工智慧檢查,百分之百全檢不是抽檢。所以,這個奧迪的這個車子在焊接點檢查將會的非常安全。

鄭智成強調,為什麼英特爾要強調新一代人工智慧晶片有 NPU 的價值。舉例來說,在透過機器學習讓人工智慧了解照片內的貓之後,當使用者跟電腦說畫一隻貓,它就能夠畫出一隻貓來。而這樣的應用,在過去必須要用 CPU 來執行,不僅時間很長,功耗也會很大。來到後來,用 GPU 執行,速度提升了,但是功耗仍很大。如今,透過 NPU 來執行,速度與公耗都能夠提升,還可以進一步應用落實到邊緣運算當中,這就是新一代處理器在人工智慧發展上的價值。

(首圖來源:科技新報攝)