在演算法殺人之前，先殺死它們

這是再日常不過的一天。一台手掌大小的無人機，在大樓間緩慢飛行，機身上的鏡頭在人群中轉動、環視、辨識。突然，一個人被無人機精準爆頭、一擊斃命，他周圍所有人都被瘋狂掃射，1 秒內，大樓附近血肉飛濺、屍橫遍野。只有一個人毫髮無損地從槍林彈雨裡走出來，無人機跟著他離開。這只是未來 AI 武器可能帶來的小故事。

現在，AI 武器已被美國、俄羅斯、英國、法國、以色列和南韓等國家部署和開發，包括 381 種部分自治武器和軍事機器人系統。

這些基於人工智慧的槍枝、飛機、船隻、坦克、機器人，有可能在演算法的控制下，掀開未來的世界大戰。

AI 也視為一種致命的自主武器系統（LAWS）──不僅「會思考」，能辨別自然語言，還能「有意識」地尋找和辨別攻擊目標，以傳統武器和士兵無法比擬的速度和效率消滅對手。

因為攜帶一切武器都難以預測的殺傷力，AI 專家在美國科學促進會（AAAS）華盛頓年度會議表示：

AI 武器將會帶來「戰爭的第 3 次武器革命」，成為人類生存最大的威脅。

再見，火藥和炸彈

眾所周知，前兩次武器革命，每次都讓社會飽受重創，小到秒殺一個人的生命，大到讓一個國家瞬間湮滅。

第一次武器革命是火藥。

這個始於 1 千多年前中國煉丹術的武器，在北宋末年可一炮燒毀城門，《金史》對稱為「震天雷」的武器有這樣的描述：「火藥發作，聲如雷震，熱力達半畝之上，人與牛皮皆碎並無跡，甲鐵皆透。」

13 世紀傳入西歐後，靠冷兵器耀武揚威的騎士階層從此衰落，隨著無煙火藥、雙基火藥、雷管等出現，才產生了真正意義的軍事革命，現代意義的火箭、炸彈、導彈隨之而來，戰場開始炮火連天。

（Source：Timothy H. O’Sullivan [Public domain], via Wikimedia Commons）

第 2 次武器革命是核彈。

人類只在一次戰爭使用過核武器。第二次世界大戰期間，美國在日本廣島市和長崎市投下 2 枚原子彈。

1945 年，日本廣島在一聲震耳欲聾的蘑菇雲爆炸下，瞬間淪為火海，71,379 位無辜平民受難，建築和人類都如原子分崩離析。核爆炸產生的巨大破壞力，還產生了幾萬年都無法消失的放射性污染。

對 AI 武器的破壞力，特斯拉創始人馬斯克曾在聯名 2,000 多位 AI 專家請願禁止「殺人機器人」時說：

請一定要記住我的話，AI 要比核武器還危險得多。

▲ 1945，廣島被原子彈轟出的廢墟。（Source：維基百科）

這就是將來的第 3 次武器革命：AI。也是一場無形的武器革命。

其實日常生活中對 AI 並不陌生，從 Siri 透過語音辨識我們的需求，到網路透過使用者像素歸因精準投放廣告，2017 年，進化版 AlphaGo 的 Master 機器人甚至團滅圍棋頂尖高手，AI 技術以肉眼可見的速度在進步。

但當用到武器，雖然並不像《魔鬼終結者》那樣科幻，但依然令人畏懼。

AI 武器將成為自主性的殺傷性武器，不僅能在任何環境被任何人採用，還能讓戰爭工業化、超越人類道德規範，變得無法掌控。這也是為什麼在火藥和核彈之後，AI 被稱為武器的第 3 次革命。

只要人們在武器內設定演算法，再加上豐富的感測器、不同功能的鏡頭等，一個武器就能精準辨識、追蹤、定位某個人員，還能中途重新編程和竄改演算法，追蹤更多戰場變量。

在密集的戰鬥空間裡，決策、部署和速度就是關鍵資產。AI 能夠精確制導武器，不用士兵操縱，就能讓飛機、戰艦、裝甲車大規模屠殺敵人，獲得更顯著的勝利機會。

以往的戰鬥速度和持續時間都會改變。因為 AI 武器的殺戮速度，無論行動還是思維，都超過人類保護自己的速度。

可怕的地方還在於：每個人，都能利用 AI 的技術讓武器變成「殺手」。

植入武器的演算法，不需要以往高價或稀缺的原料，一個程式設計師和一個 3D 列印機，就能做出一群武器製造商才能做的東西；資金充裕的人，就能實現超級大國用一支軍隊才能辦到的事情。

這將使武器廉價批量生產，使戰爭產業化。

另外，AI 在軟體系統中，也能成為一種武器，同樣會造成可怕的後果。可以預見的是，恐怖主義的恐慌必將升級，人們將整日覆蓋在資訊恐慌的無形陰影之下。

因為你不知道哪天，就有人操作著精密演算法向幽暗處迸發，利用 AI 讓全國停電或系統癱瘓，或生成智慧惡意軟體或駭客程式，精準定位弱勢用戶和系統，利用數據和隱私脅迫群眾。

當越來越多國家開始重視起 AI 武器的未來，預防行動的機會之窗也在迅速關閉。

AI 大戰一觸即發？

我們已經聽過 N 種機器人崛起並毀滅人類的陰謀論，但實際發生的可能性或許是 0。

目前 AI 機器的編程也還依賴於固定數據，模型取決於環境條件，信號可能受到干擾，技術背後的科學和大腦都不成熟……

AI 擺脫人類、替代人類、控制人類、成為新物種都很遙遠也並不現實，且完全自主的 AI 武器現在還沒出現。

雖然表面看起來風平浪靜，各個國家還在用傳統武器來縮小與世界軍事力量的差距，但 AI 帶來的無人戰鬥實力正在逐步顯現，由技術驅動的「輕型戰爭」一直在暗流湧動，等待爆發。

各國正在研究的 AI 武器一般包括 7 大類：進遠程自動射擊機器人、智慧無人機系統、無人艦船與潛艇、自主射擊陸戰武器、智慧導彈體系、網路攻擊與衛星攻擊武器等。

現在，美國海軍陸戰隊的海軍 X-47B 無人轟炸機已完全由電腦操控，南韓的 Super aEgis II 自動砲塔、俄羅斯的 Platform-M 戰鬥機器人都已實現自動化控制，還有很多無人機、安防機器人已難以區分軍用與民用的界限。

美國五角大樓的軍方智囊團一致認為人工智慧、機器人和人機合作將改變戰爭進行的方式。俄羅斯高級軍事官員也表示，機器人近幾年內將在戰爭中被廣泛使用。

而且全球技術支出的加大，也讓「完全自治」的人工智慧機器更接近實現。國際數據公司的研究表明，全球機器人技術支出將從 2016 年的 915 億美元翻倍增長到 2020 年的 1,880 億美元。

▲ 以色列的鐵穹部分是自治的，軍方官員說完全自主武器很快就會普及。（Source：Israel Defense Forces and Nehemiya Gershoni נחמיה גרשוני (see also https://he.wikipedia.org/wiki/%D7%A7%D7%95%D7%91%D7%A5:Flickr-IDF-IronDome-in-action001.jpg ) [CC BY-SA 3.0], via Wikimedia Commons）

人工智慧正在顛覆原有的社會結構和分配方式，數據已經成為了最重要的資源。

《今日簡史》裡談到了這樣的觀點：現代社會已不像過去對石油、殖民地那樣瘋狂渴求，傳統的戰爭幾乎已無利可圖，訊息社會裡最重要的資源是無形的，未來的戰爭勢必是一場技術戰。這也是為什麼這麼多年來，大規模的戰爭都沒出現過的原因。

是的，人們正在為高科技戰爭做準備，AI 會讓戰爭出現一種隱藏的、新舊交織、複雜混合的新形式。

AI 用於軍事的趨勢是不可阻擋的，雖然它也有一些好處，諸如透過精確定位來減少戰爭中的平民傷亡，但可能會出現的最壞結果，是更難以掌控的人與人、人與機器、機器與機器之間相互交織的危機。

科技的邊界是無限的，但法律和政治需要邊界。

荷蘭反戰非政府組織帕克斯（Pax）在新報告中擔心軍備競賽因此爆發，並表示「要防止最終的災難，必須採取全面禁令」。

目前，有 28 個國家明確支持禁止使用完全自主武器，但美國、英國等國反對這樣的禁令，認為禁令「為時尚早」，還能探索開發和使用自主武器的潛在優勢，國家武器審查是處理自主武器的最佳方式。

▲發展中或低度開發國家一般受 AI 武器威脅最大。圖為葉門街上的壁畫塗鴉。（Source：Flickr/DJANDYW.COM AKA NOBODY CC BY 2.0）

不過從更積極的方面來看，禁令的勢頭正在增長。

去年，不結盟運動和非洲集團呼籲制定一項具有法律約束力的文書，聯合國秘書長也呼籲實施禁令，稱這些武器「在政治上是不可接受的，在道德上是令人反感的」，這些呼籲獲得了成千上萬的人工智慧科學家、民間社會、宗教領袖和諾貝爾和平獎獲得者的支持。

2013 年 4 月起，和平組織 PAX 共同創立了國際知名的停止殺手機器人運動，近年來，一直在推進禁止自主武器的開發、生產和部署，以及關注其中的法律、道德和安全問題。

對於 PAX 而言，AI 武器必須被禁止的最重要的原因，就是其中的道德問題。

▲ 禁止殺人機器人組織。（Source：Stop Killer Robots）

越不過道德的邊境

當生死決定簡化成了演算法，我們可以進行一系列沒有答案的提問：

如果恐怖分子掌握了這些武器，解決辦法是什麼？

AI 武器在戰鬥員不穿制服和平民經常武裝的社會中，如何區分人類？

AI 武器的非法行為，由誰負責？機器、開發人員、軍事指揮官？
……

想像中只做正確決策的理性 AI 機器的形象是天真的。

因此我們需要政府對 AI 進行管控，包括帶有偏見的演算法、開發「殺手機器人」的軍備競賽、科技公司對於個人數據隱私的威脅等。而人類真的擔心一種技術會對未來造成的影響，除了對武器進行有意義的人為控制、確保遵守國際人道主義法和人權法等，各行各業也都需要盡快參與到這項技術的開發和應用中來。

為了減輕政治上的反對意見，美國軍隊還資助過一個計畫，希望為機器人士兵提供良知，讓他們有能力做出道德決定。但機器都無法區分載有敵方士兵或兒童的公共汽車，更不用說道德了，這就像是把所有致命錯誤的責任都委託給武器。

人類士兵擁有諸如日內瓦公約等法律協議來指導他們，但自主機器人現在只受涉及標準武器的武裝衝突法的保護。無生命的機器無法理解生命，也不能理解其消失的重要性，但他們有權決定何時將其帶走，這多麼荒謬。

無論如何，在選擇和消除目標時，人們應始終擁有控制權。畢竟，殺手機器人不僅會被我們所使用，它們也會被用來對付我們。放棄人類對生活和死亡決定的控制，將剝奪人們固有的尊嚴。

任何使用武力的決定，都應該非常謹慎並尊重人的生命價值。

（Source：Stop Killer Robots）

其實這樣的事件歷史上已經有過一次先例。

化學武器也曾像自動武器一樣便宜，除了使用廣泛，還涉獵了法律當時無法禁止的領域，武器公司可以出售化學武器，犯罪分子也能對一個國家發動化學攻擊，只要在一次戰爭中投下它，毒氣就將遮天蔽日，隨後大地生靈塗炭。

但我們沒有禁止化學，而是禁止了使用化學武器。

人類的大腦擁有多麼無限可能的智慧，人性就擁有多麼不堪一擊的脆弱，但好在我們總能在關鍵時刻，穩住人類的決定權，或者，在大勢之下找到最優選擇。

AI 也「走」到了這一天。

武器雖然是為戰場而生，但它和 AI 一樣，到底是一種工具，兩者結合最好的意義，理應是保護人類更好的未來。

那讓這難得的和平，再持續得久一點吧。

（本文由 愛范兒 授權轉載；首圖來源：shutterstock）