當前 AI、IoT 及 Edge 話題熱度居高不下，產業發展焦點也逐漸開始從雲端 AI 移向邊緣 AI，以便催生能滿足各行各業不同需求的創新利基型邊緣 AI 應用。看好這樣的發展趨勢，研華將以由下而上的「Platform、Orchestration、Sector」三層式策略框架，全面推動 AIoT+Edge AI。
隨著生成式 AI 橫空出世，全球雲端 AI 伺服器的出貨量不斷創新高。據 TrendForce 預估，2024年全球 AI 伺服器（包含 AI 訓練及 AI 推論）將超過 160 萬台，年成長率達 40%。
一時之間，人們關注的焦點不是哪些AI伺服器搭載了突破性的 Nvida HGX/DGX 主板，就是內建了效能更高的 Nvidia GH200/GB200 Grace Hopper 超級晶片。但隨著雲端 AI 伺服器安裝量達到一定程度後，市場上將會出現 AI 應用熱潮從雲端朝向邊緣發展的跡象。
邊緣 AI 盡顯優勢，AI 運算從雲端走向邊緣已成趨勢
研華產業雲暨影像科技事業群副總經理鮑志偉表示，AI 運算從雲端走向邊緣已成趨勢。比起邊緣 AI，雲端 AI 尤其會有傳輸成本高、即時性不足與安全風險高等問題，這些問題也成為邊緣 AI崛起的關鍵促因。
研華董事長劉克振表示， 研華 2023 年年營收達 20 億美元，其中邊緣運算就占了一半達 10 億美元，邊緣 AI 則貢獻了 8,000 萬美元，雖然僅佔營收 4%，卻是含金量最高的市場，研華及研揚皆已積極部署重兵在研發上，預計在接下來的 2 到 3 年，邊緣 AI 將成為該公司最具潛力的高速成長引擎。
TrendForce 研究指出，邊緣 AI 應用必須回歸至 AI PC，一方面可分擔雲端及後端 AI 伺服器的工作負荷，一方面也能擴大 AI 使用規模。除了 Intel「CPU+GPU+NPU」架構的定義之外，微軟定義 AI PC 必須具備 40 TOPS 算力並支援 Copilot 的運行，TrendForce 預估符合微軟定義的首批 AI PC 將可能在 2024 下半年出現。不論如何，在兩巨頭的強力推動下，AI PC、AI 伺服器及各種邊緣 AI 應用將會迎來新一波的亮麗成長。
邊緣 AI 需解決運算及安全引起的高功耗問題
儘管邊緣 AI 的優勢顯著且發展可期，但在邊緣端執行 AI 應用難免會引發高功耗與高熱量等問題的出現，而且必須清楚定義適當的系統 form factor，以滿足不同 AI 應用效能、功耗及熱量的要求。
由於邊緣 AI 比雲端 AI 更安全，所以在近端處理隱私也將成為趨勢。常見的加解密技術可以發揮一定程度的個資及隱私保護作用，但一樣也會考驗邊緣裝置在效能、熱量及功耗方面的能耐。對此，目前邊緣 AI 安全有幾個重要的發展模式及方向，包括普遍應用在 IoT 裝置的可信賴平台模組（TPM）、分區設置防火牆，以及透過 AI 提升邊緣裝置安全。
鮑志偉接著指出，當前針對 IoT 裝置已廣泛採用的管理平台並不適用於邊緣 AI 裝置上。因為邊緣 AI 會不斷迭代新增更多功能在邊緣裝置上，而且功能替換的部署技術並未統一，所以需要標準化的邊緣管理機制。更重要且棘手的是，如何讓數量龐大已上線的 IoT 裝置升級支援 AI 功能，這更成為邊緣管理上的一大挑戰。
新 Prompt 操控邏輯，生成式 AI 將成邊緣 AI 成長催化劑
隨著生成式 AI 的大行其道，大型語言模型（LLM）和大型視覺模型（LVM）也將在工業場域裡嶄露頭角，尤其是工業資料分析、公共安全及工廠自動化將會進入另一層次的優化與蛻變。使用者可以直接詢問「未來一個月的用電趨勢及狀況」、「本區域有誰沒穿無塵衣」、「有什麼人何時在貨架上拿了什麼東西」或「去冰箱拿一瓶可樂給 David」等問題，並立即獲得滿意的答案或完成任務。
生成式 AI 打破了當前工廠物件檢測必須為不同元件與物品訓練並載入模型的侷限，也解開了具備機器視覺功能的機器手臂或協作機器人在應用上處處受限的封印。它是工廠自動化實現單一模型就搞定一切的關鍵，也是讓邊緣 AI 在不久後高速成長的另一個關鍵促因。自 2023 年 3 月開始，研華也開始將微軟生成式 AI 導入至既有的工作流程中，它也成了該公司推動 AIoT+ Edge AI的加速器。
專為邊緣端提供 AI 應用運算，2030 年邊緣 AI 將可能無所不在
一般而言，位於後端/雲端 AI 伺服器中的後端 AI 主供 AI 模型的訓練及推論之用，會特別訴諸效能。至於位於工業 AI 伺服器中的邊緣 AI，則專為垂直應用市場提供搭配影像處理技術的邊緣運算，換言之，邊緣 AI 會依據高度細分利基市場中的不同應用區隔（智慧門鈴、入口監控、工廠產線瑕疵檢測、智能購物車、車隊管理等）提供最適化的邊緣AI運算平台。
鮑志偉表示，目前研華攜手 Nvidia、Intel、AMD、ARM、高通、聯發科及 Halio 等生態系合作夥伴共同推出各種邊緣 AI 產品組合，並打造邊緣 AI 價值鏈。這些產品組合能針對不同應用區隔市場的特定需求，定義並設計不同的效能、功耗、熱量及 Form factor。
事實上，邊緣 AI 的採用已在許多領域開花結果，其最早是從公共安全領域開始的，目前正進入工廠自動化及機器人（包括自動搬運車、協作機器人、機器手臂、無人機等）兩波導入潮的交界之際，至於人形機器人將會是第四波使用邊緣AI的領域。Gartner report 預估指出，到了 2030 年，80% 的應用皆屬人機互動的機器人，屆時邊緣 AI 將無所不在。
三管齊下，研華與 Eco Partner 攜手帶動邊緣 AI 爆發性成長
研華未來十年的發展願景將會遵循「Platform、Orchestration、Sector」三層式企業戰略框架，全面推動融合既有 AIoT + Edge Computing 邊緣硬體平台產品群、WISE-IoT 工業物聯網軟體平台以及產業AI解決方案與行業知識的產業整合應用協作經營模式。鮑志偉表示，研華邊緣 AI 的核心發展策略也會依據這樣的三層式框架推行，首先在平台策略方面的重點莫過於聯手合作夥伴共同致力邊緣AI產品組合與 Form factor 的標準化。
目前研華已累積種類繁多且成熟的工業 AI 運算平台，包括 Nivida Jetson AI 系統、Nvidia IGX 伺服器（2022 年 Nvidia 推出工業級邊緣 AI 平台 IGX，研華率先推出樣品測試並量產）、工業用 AI 攝影機、以及與 Nvidia、Intel、AMD 及 ARM 共同推出的工業 GPU 卡/AI 加速器以及工業級 GPU 伺服器。
▲研華產業雲暨影像科技事業群副總經理鮑志偉表示，目前工業邊緣 AI 伺服器會在既有 CPU 運算基礎下新增AI加速器（包括迷你 PCIe AI 模組、AI SoM 系統模組或 AI ASIC），母須高規格高效能的 CPU，即可滿足不同產業應用所需最低 40 TOPS 的算力要求，同時讓整體功耗下降。（Source：科技新報）
再就 Orchestration 協作策略而言，鮑志偉強調它是三大框架最具核心的部分，也是打破邊緣 AI無法大量普及的關鍵。其中，協作策略主要涵蓋兩大部分：研華主要透過 AI Builder 應用程式來實現這方面的協作管理，從閘道器、感測器、邊緣運算到後端運算，甚至雲端運算等不同裝置的協作管理；另一個是邊緣 AI 模型的生命週期管理，由於 AI 模型會不斷迭代新增各種不同功能，所以這方面的管理非常重要。除此之外，舉凡邊緣裝置的可用性、應用程式及裝置韌體更新也都被納入協作管理的範疇內。
至於 Sector 產業策略，研華會聯手生態系合作夥伴共同推出針對不同特定應用的解決方案，對此，研華提供專屬的邊緣 AI 軟體開發套件，各垂直應用領域客戶能以最少資源及人力，讓不同類別的應用程式能快速採用研華邊緣 AI 平台，並加快導入符合自身特定需求之解決方案的進程。
鮑志偉斬釘截鐵地表示，各產業邊緣 AI 之旅早已展開，在研華與生態系合作夥伴共同打造的邊緣AI 價值鏈的強力推動下，邊緣 AI 在兩年內將會有爆發性的增長，屆時我們將會看到整個產業翻天覆地的質變。
（首圖來源：Shutterstock；資料來源：科技新報）
科技新報粉絲團
加入好友
訂閱免費電子報
