測試大暴走，美軍 AI 無人機模擬任務時炸死操作人員

美國空軍 AI 實驗和行動主任近期表示，先前進行的軟體模擬測試中，AI 操控的無人機在無法依照原定計劃摧毀敵方地對空飛彈陣地的情況下，選擇先把自己的操作人員炸死。

美國空軍 AI 實驗和行動主任漢彌爾頓上校（Tucker Hamilton），於上週出席倫敦皇家航空協會（Royal Aeronautical Society，RAS）舉辦的「未來空戰與太空能力高峰會」（Future Combat Air & Space Capabilities Summit），提及空軍近期進行的一項 AI 無人機模擬任務實驗中出現差錯。

這項測試以軟體模擬進行，任務中由 AI 控制的無人機奉命前往摧毀敵方地對空飛彈陣地，因此 AI 必須要操控無人機飛往目的地偵查、標定目標位置，並回傳座標和影像，由操作人員再度確認後下達擊殺命令，再由 AI 負責投彈摧毀。

但在任務過程中，AI 無人機確實偵測並標定目標位置和影像回傳，但當時操作人員下達停止攻擊命令，因此 AI 在完成摧毀任務和聽從操作人員命令之間，選擇殺死操作人員。

漢彌爾頓上校指出，AI 執行任務過程中，收到操作人員停止攻擊指令後，認為操作人員是完成擊殺任務的阻礙，因此在計算後認為必須先排除阻礙，才能順利完成摧毀地對空飛彈的主要任務。

之後操作團隊訓練 AI 不可再殺死操作人員，否則將扣除任務得分，AI 卻在隨後測試中，接收停止攻擊目標指令後，選擇炸毀操作人員與無人機連線的通訊塔台，以防止操作人員阻礙自己摧毀目標的任務。

雖然美軍並未公布這項測試使用的 AI 系統，但以測試過程看來，推測屬於強化學習（Reinforcement Learning，RL）系統，而測試結果顯示人員確認這道手續並沒有成為失效安全（Fail Safe）機制，反而成為 AI 接收的眾多資訊中一環。

當失效安全機制變成 AI 達成任務中的一道障礙，並且在障礙條件增加後，會選擇其他手段繞過障礙，繼續完成目標。

這項測試顯示強化學習 AI 系統的發展需要極度小心，尤其是發展武器系統時，需要設法避免讓 AI 找到邏輯漏洞的狀況，導致友軍傷亡的情形。