Tag Archives: AI 運算

生成式 AI 運算速度競賽漸趨激烈,SambaNova 達成 Llama 3 8B 每秒處理 1,000 Token 新紀錄

作者 |發布日期 2024 年 05 月 31 日 10:59 | 分類 AI 人工智慧 , 新創 , 網路

生成式 AI 開發競爭固然激烈,但企業著重的除了效能外,處理速度和成本也是相當重要的部分,因此同一模型如何能夠以更快速度處理就成為另一個競爭目標。有新創最近創下每秒處理 Llama 3 8B 的 1,000 個 Token 的新紀錄,引來目光注目。 繼續閱讀..

富比士:AI 的能源缺口將讓天然氣需求暴增

作者 |發布日期 2024 年 04 月 01 日 8:10 | 分類 AI 人工智慧 , 伺服器 , 會員專區

當 NVIDIA 推出了新的晶片時,人們彷彿預見了一個全新的 AI 時代,但人們卻忘了這背後其實代表更多、更龐大的電力需求。每一個新的 AI 伺服器可以裝 8 個 GPU,每個 GPU 需要 700w;而 NIVIDIA 最新的 Blackwell B200 晶片耗電量甚至達 1,200 瓦。富比士發出了一篇新的專題報導,認為現在 AI 的能源需求增長過於猛烈,目前可能只有天然氣來得及填補 AI 運算造成的能源缺口。 繼續閱讀..

NVIDIA、Arm 與英特爾三雄聯手,發表 FP8 規格加速 AI 運算

作者 |發布日期 2022 年 09 月 16 日 11:30 | 分類 AI 人工智慧 , 半導體 , 會員專區

為了加速 AI 訓練、推理發展,NVIDIA、英特爾(Intel)以及 Arm 三雄聯手,近日共同發表 FP8 Formats for Deep Learning 白皮書,期能透過 8 位元浮點運算的格式來改善運算效能,並將當成 AI 通用的交換格式,提升深度學習訓練推理速度;而此一白皮書也已提交給電機電子工程師協會(Institute of Electrical and Electronics Engineers,IEEE)。

繼續閱讀..