Jim Keller 批 Nvidia CUDA「是沼澤而非護城河」：x86 也是沼澤

傳奇處理器架構師吉姆‧凱勒（Jim Keller）最近評論 Nvidia 的 CUDA 架構和軟體堆疊，並稱 CUDA 和 x86 一樣都是沼澤（swamp）。

Jim Keller 曾參與過 x86、Arm、MISC 和 RISC-V 處理器的研發工作，他近日在 X 平台上寫道「CUDA 是沼澤，而不是護城河。x86 也是一片沼澤」，「CUDA 並不漂亮，它是透過一次堆疊一件事物所建造起來的」。

Cuda’s a swamp, not a moat. x86 was a swamp too

— Jim Keller (@jimkxa) February 17, 2024

外媒 Tom’s Hardware 指出，CUDA 和 x86 一樣，在維持軟體和硬體向後相容性的同時，會逐步增加功能，雖然這使 Nvidia 平台完整且向後相容，但卻影響性能，增加程式開發難度。許多開源軟體開發框架可比 CUDA 更高效地使用。

因此 Keller 在一篇文章中表示，基本上沒有人編寫 CUDA，「如果你編寫 CUDA，它的速度可能不快。Triton、Tensor RT、Neon 和 Mojo 的存在是有道理的。」

Triton Inference Server 是 Nvidia 的開源工具，可簡化 AI 模型的大規模部署，支援 TensorFlow、PyTorch 和ONNX 等框架。Triton 也提供模型版本控制、多模型服務和併發模型執行等功能，優化 GPU 和 CPU 資源的利用率。

Nvidia TensorRT 是高性能深度學習推理最佳化器和時間函式庫，可加速 Nvidia GPU 上的深度學習推理。TensorRT 從 TensorFlow 和 PyTorch 等各框架中提取訓練有素的模型，並進行最佳化部署，從而為圖像分類、物體檢測和自然語言處理等即時應用減少延遲並提高傳輸量。

目前還不清楚 Keller 對 AMD ROCm 和英特爾 OneAPI 有何看法，但明顯的是，他多年從事 x86 架構的設計工作，仍不看好 x86 架構未來前景。