曾待過特斯拉，馬斯克至今仍歡迎他隨時回訪的程式大師卡帕西，首度教導 ChatGPT、 Claude 等 AI 工具怎麼用！從 OpenAI 轉投教育事業的電腦科學家卡帕西（Andrej Karpathy）在 YouTube 釋出新影片，以樸實無華但乾貨滿滿的方式完整盤點大語言模型現況。現正熱門的推理模型怎麼用？如何讓 AI 更懂你？無論是初學者或重度使用者，都能獲益良多。
AI模型推陳出新的速度驚人，諸多版本及不甚直覺的命名，常讓一般大眾難以導航。即使是付費使用者，也時常難以確定自己訂購了最適合個人需求的服務。
OpenAI共同創辦人、曾任特斯拉（Tesla）AI總監的電腦科學家卡帕西（Andrej Karpathy），針對這樣的需求，發表了長逾2小時的教學影片，深入簡出地介紹「我如何使用大語言模型們」。短短三天，便累積超過40萬觀看數。
早在2023年，卡帕西將在「人工智慧安全高峰會」（AI Safety Summit）上介紹大語言模型基本運作、安全風險的演說錄製成影片，讓非技術人員也能理解這項關鍵技術。這段教學影片廣為流傳，至今已有超過258萬次觀看數。
離開OpenAI後，卡帕西在2024年宣布創立AI賦能的教育機構「Eureka Labs」，全心發展自己熱愛的教育事業。近期，他更加深度地解析大語言模型及其應用，在最新影片中更不藏私地分享個人使用實例。
大語言模型只是一個壓縮檔
認識大語言模型們（LLMs）的基礎運作，有助於使用者更加理解模型擅長與不那麼擅長的任務類型。
如2023年的影片中指出，卡帕西提醒，大語言模型基本上是一個獨立的壓縮檔，使用網路上的巨量資料訓練而成。基於這些內容知識，模型預測序列的下一個詞元（tokens），輸出為聊天介面上看見的回答。這部分即為「預訓練」。
也因此，模型內的知識是有一個日期截止點的。經過壓縮的它，無法準確記憶自己讀過的每一份資料。與人類近似，對於網路上有大量討論、讀過較多次的內容，模型的印象會更深刻，只少量地讀過的內容記憶則較不準確。
卡帕西舉例，面對「一杯美式咖啡含有幾毫克的咖啡因」這樣的問題，大語言模型有高機率能給出正確解答。因為這類資訊在網路上十分常見，而且不是一件會持續變化的事實，不需要跟上最新發展。
使用者與模型的對話，構成對話框中的詞元序列。這可視為模型的工作記憶。當同一個對話框中的內容逐漸積累，記憶體愈趨飽實，可能會分散模型注意力、降低效能，輸出成本也會略微提升。
因此，卡帕西建議，除非先前對話能提供重要脈絡，當對話變成太長、或是轉換話題時，開啟新的對話框會是比較理想的做法。
勇於實驗，選擇適合的模型及付費等級
目前，OpenAI、Anthropic、Google與xAI等公司都推出自己的大語言模型，旗下更有多重型號。根據不同付費等級，可取用的模型也不同。例如，OpenAI最新發表的GPT-4.5研究預覽版，就僅限月費200美元的ChatGPT Pro用戶使用。
概地來說，參數量愈大的模型，寫作能力愈好，幻覺比例也較低。身為大語言模型重度使用者的卡帕西，訂閱了多家服務，並會在不同模型上嘗試相同指令，有如建立自己的「模型顧問團」，摸索回應最理想的模型。
近期當紅的「推理」模型，通常是透過強化學習加強思考能力的大語言模型。例如OpenAI的o系列。推理模型能對指令「思考」更長的時間，提升答題準確度，特別適合需要較多思考步驟的複雜數學、程式碼難題。
但使用推理模型應付單純的問題沒有太大意義。例如，請推理模型根據你的喜好推薦旅遊景點，多思考幾分鐘不太能增添多少價值。
卡帕西的做法是，先使用能快速給出回應的非推理模型回答較簡單的問題。若無法解決問題，或是需要更理想的答案，再轉用推理模型，看看輸出是否更加理想。
確認模型可用工具箱，深度研究仍有幻覺
大語言模型可以取用工具，來取得超越自己神經網路內容的資料，以完成特定任務。就像是人腦在面對簡單算數時，可以心算出答案，但要進行複雜計算時，則會取用計算機這類的工具。
目前最實用的一項工具可能是網路搜尋功能。基本做法是讓模型代勞，進行過往由使用者自行在搜尋引擎上搜尋關鍵字、點擊及閱讀網頁，以釐清所需答案的過程。
這項功能特別適合回應需要時時更新的問題（如新聞事件），或是較小眾的資訊（模型較不可能清楚記得）。即使OpenAI也有這項功能，卡帕西自己最常使用的是Perplexity。目前，Claude仍沒有網路搜尋功能，但可預期也即將跟進。
另一個推出不久、似乎還未受到廣泛重視的是「深度研究」功能。簡單地說，深度研究結合網路搜尋功能與模型推理能力，並持續更長的時間。OpenAI的深度研究功能可能最為知名，卡帕西也認為ChatGPT的報告目前最深入，但許多公司都已推出類似服務。
值得注意的是，深度研究報告仍有可能包含幻覺。卡帕西提醒使用者仍需進行查核，不宜全盤盡信。但彙整的資料來源與分析做為研究起點，依然相當有幫助。
另外，ChatGPT與Claude編寫、執行程式的功能也相當突出。對於專業程式工程師，更便利的方式會是在cursor等可存取本地檔案的程式中協作。卡帕西稱這種下指令給編輯器寫程式的做法為「vibe coding」。
自訂GPT，讓模型更懂你
最後，卡帕西也分享在ChatGPT上進行個人化設定的技巧。只要開啟記憶功能，ChatGPT就能在對話中自動記錄使用者的偏好、背景等資料，回答也會愈來愈符合個人化需求。
例如，隨著ChatGPT記憶使用者喜歡的導演、演員與電影風格，在推薦新電影時就能更加切合個人喜好。使用者亦可手動管理記憶內容。
另一個途徑是在自訂GPT中，直接寫入自己的背景資訊，以及希望ChatGPT具有的特質（例如回應的口吻），或是任何希望ChatGPT記住的個人資訊。
綜地來說，卡帕西認為OpenAI所提供的ChatGPT做為市場先行者，適合做為預設起點；目前也是功能最豐富的選擇。但在特定功能上，有些競爭者可能更為突出。例如在網路搜尋上Perplexity表現亮眼。設計簡單程式原型或圖表時，卡帕西偏好Claude的Artifacts。
各模型各有強項，可以多進行實驗，找到適合自己任務需求的模型。隨著模型能力持續進化，持續追蹤、調整使用技巧，也成了人機協作的關鍵能力。
科技新報粉絲團
加入好友
訂閱免費電子報
