
輝達(NVIDIA)日前推出個人化 AI 聊天機器人 Chat with RTX,使用者不用連網就能將文件、筆記等資料連結大語言模型(LLM)。NVIDIA 表示,Chat with RTX 所有操作均在 Windows RTX PC 或工作站終端執行,因此非常安全。
使用者可用 Chat With RTX 使用檢索增強生成(RAG)、TensorRT-LLM 和 RTX 加速。要用 Chat with RTX 的話,需要配備 GeForce RTX 30、40 系列以上 GPU,或 RTX Ampere、Ada Generation GPU。除此之外,顯示卡記憶體最少需 8GB 。