本屆 SEMICON TAIWAN 的大師論壇焦點，無疑落在 Tenstorrent 執行長 Jim Keller 身上。這位曾在英特爾、AMD、特斯拉等公司硬體部門任職高階主管，成功領導多個成功晶片開發計畫，稱之為「晶片大神」的傳奇人物，演講一開場就表示，Tenstorrent 將在台北成立辦公室，開始招募人才，還將藉開放原始碼 RISC-V 架構提出全新 AI 處理器，用普通 DRAM 和乙太網構建高性能 AI，讓任何人都能建造和擴展，AI 應用普及更快速。
Jim Keller 不同於其他人，穿著 T-Shirt 上台，說這次演講部分是受邀，更重要的是 Tenstorrent 將在台北設立辦事處，已開始招募人才。因台北人才濟濟，不僅招聘營運人員協助與本地製造商合作，更找到許多優秀工程師，將投入小晶片（chiplet）工程、CPU 設計驗證和 AI 模型等關鍵領域。尤其台灣以主機板、封裝、系統、晶圓等各工廠卓越製造聞名，他希望成為優秀製造團隊的一份子。
一次惱人的逆向工程事件，解開 Tenstorrent 思維禁錮
Jim Keller 表示，Tenstorrent 正在建造一座特殊的電腦工廠，目標是生產所有現代高階 AI 電腦和高性能處理器所需的零組件。一直以來，Tenstorrent 一直致力於打造高階 AI 電腦和具備大量 IP 與技術的高速 CPU，如今產品已經開始出貨，包括可擴展的 Galaxy box 伺服器，以及為了回應客戶抱怨噪音而設計的水冷 quiet box 等。此外，我們還推出了 PCI Express卡，並剛開始向客戶提供 Eson TPU 作為 IP。令人興奮的是，還已經將 AI 處理器出貨給多家客戶，其中包含 LG，他們將 AI 處理器整合到電視晶片中。
對於這些 Tenstorrent 的成果，Jim Keller 強調自己是個任務導向的人，雖然長遠來看也希望公司能夠賺錢，但更重要的是要有一個使命，就是當今 AI 世界正在徹底改變一切，隨處都可見對「千兆瓦」、「兆位元組」產品的需求。但這一切都變得越來越大、越來越昂貴，而且很多技術是專有的。儘管有些模型是開源的，但大部分仍然是封閉的。因此，我的使命是創造更便宜、更快、更開放的新型架構。
為此，Tenstorrent 制定了一項宏偉計畫，就是正在打造基於開源架構的 RISC-V CPU。而這款正在開發的開放式 AI 處理器，其來自於一個無意的開源事件，就是一位網路上的年輕人透過逆向工程公布了我們處理器的所有細節，並發布了規格。這個看來惱人的事件，卻反而促使我們認為這是一個好主意。因為，如果有人想從頭開始構建自己的 AI 電腦，網路上很快就會有完整的規格和參考模型。
基於此，我們還承諾將建立一個完全開放原始碼的軟體堆疊，從模型、編譯器、快速操作器、運行時環境的低層指令集等，都將是全部都是開放的。這代表著，如果你購買我們的硬體，你可以清楚地看到所有內部運作。目標就是是利用普通的 DRAM 和乙太網來構建高性能 AI，讓任何人都能建造和擴展它。
台積電 6 奈米打造 Black Hole 晶片，建構強大可擴展 Galaxy box 伺服器
Jim Keller 強調，在硬體方面，Black Hole 是我們採用台積電 6 奈米製程的晶片，它包含 140 個張量處理器和 RISC-V 處理器，並且支援 GDDR6 DRAM 和片上 SRAM。我們選擇不使用 HBM，因為它過於昂貴且封裝複雜。我們的策略是製造更多、更小、更便宜的晶片。例如，一塊板上有八個 Black Hole 晶片，四塊板組成一個盒子，總共有 32 個晶片，提供 1TB 的 DRAM 和 16TB 的頻寬。每個晶片都有乙太網接口，所有連接都具備冗餘，確保系統的可靠性。
就目前的情況來說，AI 訓練的挑戰在於儘管可以編寫模型，但要使其快速運行卻是一個複雜的 HPC 問題。因此，Tenstorrent 的訓練電腦擁有 2,000 個 Black Hole 晶片，相當於超過一百萬個 RISC-V 處理器協同運作，這需要巨大的協作和優化。至於，實現低成本的 AI 訓練方面，目前許多大型 AI 模型（如 OpenAI 和 XAI 的模型）可能是開源的，但對於我們這些需要自己訓練模型的人來說，能夠以低成本進行訓練至關重要。我們的訓練電腦由九個 Galaxy box 組成一個單元，所有連接都具備冗餘，即使有線纜故障也能正常運行。多個這樣的單元可以進一步組成更大的訓練集群，提供從上到下的一致視角，這讓管理數百個 Galaxy box 成為可能。
Jim Keller 強調指出，建造一個晶片成本高昂，我們的 Black Hole 晶片耗資約 8,000 萬美元。每次升級 AI，我們都需要再花費數千萬美元來打造新晶片。因此，我們的下一代解決方案是採用小晶片（chiplets）。我們將 CPU、記憶體控制器和 AI 等組件設計成模組化的積木。儘管現有多個小晶片互連標準，目標是確保我們的晶片家族能協同工作，並與 UCIe 標準兼容。
小晶片架構堆疊＋自行 IP 整合，輕鬆擁抱 AI 市場
Tenstorrent 正在努力實現晶片的獨立迭代和組合成完整解決方案，將提供採用這些小晶片的解決方案，同時也將這些小晶片開放給希望自行開發解決方案的客戶。為此，我們發起了開放小晶片架構（Open Chiplet Architecture）計畫，這不僅僅是晶片間的互連標準，還包括測試、重置、系統加密等所有組件。我們將貢獻所有相關 IP 給這個聯盟，甚至計劃推出一種空晶片（empty chip）一個包含所有必要 IP 系統的晶片裸晶，讓客戶可以輕鬆地將自己的 IP 整合進去並快速推向市場。
最後，Jim Keller 表示，過去許多人會問我們到底賣什麼？答案是我們銷售我們所做的一切。無論是 IP、晶片還是系統，我們都會銷售。我們甚至還提供雲端服務，讓新創公司可以在我們的機器上託管他們的應用。最終，我希望讓下一代電腦設計變得更有趣。這使得人們覺得電腦設計越來越昂貴、越來越困難的情況消失。透過小晶片技術、更好的 IP、更優化的驗證以及開源的 AI 驅動方法，電腦設計將會變得更好、更易於實現。我希望能凝聚大家的力量，共同創造一個充滿無限可能的未來。
(首圖來源：科技新報攝)
科技新報粉絲團
加入好友
訂閱免費電子報
