為何不能將戰場“射殺權”交給智能機器人
近日，來自30個國家和地區的50多名人工智慧和機器人專家稱，由于韓國科學技術院大學與軍工企業“韓華Systems”合作研發的自主武器，可在無人控制的情況下搜索並消除目標，如果研發成功，“可能使戰爭惡化並造成無法挽回的後果”。科學家們表示：韓方如果不停止此項研發，即與之斷絕任何合作。4月，聯合國《特定常規武器公約》專家小組在日內瓦召開會議，專項討論“殺人機器人”可能帶來的影響，涉及韓國科學技術院大學計劃開發的“殺人機器人”。
2017年2月，韓國科學技術院大學成立國防人工智慧融合研究中心，開發用于飛機訓練、物體追蹤、識別、大型無人潛艇等項目的軍事人工智慧技術。2017年10月，韓國國防部表示，韓國軍方計劃在2025年將這些技術投入到野戰部隊和實戰中。
無獨有偶。2017年4月，美國軍方提出Maven項目，要完成的任務是幫助美國國防部處理來自全球各地的海量視頻資料。美國國防部每天收集到不同來源、數量龐大的視頻資料，而人類圖像分析師遠遠不能完成判讀，國防部希望能利用人工智慧技術來分析這些視頻。由于僅靠軍方無力完成，國防部于是轉向尋求與學界和業界人工智慧專家合作，組成所謂“演算法戰爭跨功能團隊”，其中就包括在人工智慧研發方面具有頂級水準的谷歌公司。
盡管美國國防部強調，Maven項目只作為人類情報分析的合作夥伴，項目完全遵守並且受制于美國的法律和戰爭法，在部署武器係統的過程中確保人類的參與度最大化。但研究人員認為，人工智慧技術可能會以難以察覺的方式産生重大疏失，並造成致命性後果。2018年4月4日，3100名谷歌員工聯名發出公開信，要求谷歌退出由美國國防部主導的Maven計劃，並向所有員工承諾，永遠不參與任何打造類似戰爭科技的計劃或者項目。
隨著人工智慧技術不斷進步，它在軍事領域的運用也越來越廣泛。無人機、無人戰車、無人艦船、無人潛艇等大量涌現，而且智能化程度和自主性水準越來越高。有人斷言，機器人戰爭、智能化戰爭的大幕已經拉開，這引發了科學家和研發人員的高度憂慮。
自主武器係統的發展現狀和未來預期
也許有人會疑惑，美軍不是很早就在戰場上使用機器人了嗎？的確如此。但是，無論是阿富汗戰爭中美軍用“捕食者”無人機摧毀撤退中的塔利班指揮機構，還是此後用無人機在阿富汗、伊拉克、葉門、巴基斯坦等地對恐怖分子頭目進行定點清除，無人機都只是用作偵察搜索和導彈發射平臺，“開火”指令始終操控在後方控制人員手中。美軍在伊拉克戰場上投入的陸上機器人有近5000個，但只是用作巡邏隊行進前探路、引爆路邊炸彈、危險區域作業等。
非軍事類自主智能係統事實上早已實現，IBM研制的戰勝西洋棋大師的“深藍”、谷歌研制的戰勝國際一流圍棋高手李世石和柯潔的“阿法狗”，他們在對弈過程中都脫離了人的控制，行棋思考、決策完全是機器自主完成的。
而自主武器或軍用自主智能係統包括兩類：一是具有自主決策權的指揮控制係統，即“自主指揮控制係統”；二是自主武器係統，即具有戰場“射殺權”的智能機器人，也就是科學家所稱的“殺人機器人”。
目前，智能指揮控制係統的發展，處于輔助人工決策階段，即利用人工智慧技術，提高情報偵察、預警探測、通信聯絡、戰場管理等係統的智能水準，替代指揮員某些常規性思維，最高級形式是為指揮員提供輔助決策方案，供指揮員決策參考，但最後的決策權仍然在指揮員手中。
在自主武器係統方面，目前並沒有達到可以將“射殺權”或“開火權”交托給智能武器係統的程度。韓國國防部的“韓華Systems”項目，只是預計在2025年將自主武器係統投入實戰之中。美國國防部的Maven項目，則完全回避了將“射殺權”交給武器係統這一實質問題，信誓旦旦地保證只會將人工智慧技術用于情報分析與融合。
對比發現，美國軍方在這一問題上的態度相對謹慎。雖然這並不能證明美國軍方沒有朝這一方面發展，甚至其實際發展可能處于世界前列。但這樣的謹慎仍然非常必要。著名科學家霍金就對人工智慧的軍事運用前景保持高度警惕：“除非我們事先做好準備並避免潛在風險，否則人工智慧可能成為人類文明史上最糟的事件，它會給整個人類帶來危險，例如致命的自主武器的出現。”
霍金所説的“致命的自主武器”，就是具有自主“射殺權”的智能武器係統，即科學家們所説的“殺人機器人”。而“避免潛在風險”最有效的辦法實際上並不取決于技術發展，而取決于人類的決定。
自主武器係統面臨無法解決的技術難題
智能機器人作為情報收集、處理、融合和資訊傳遞、武器運載平臺的功能，已非常成熟。伊拉克戰爭和後續反恐作戰中，無人機的上述能力已經表現得非常出色。之所以不能將“射殺權”交給智能機器人，是因為這一權利事關生死，同時它還面臨諸多技術難題。
在伊拉克反恐作戰的後續地面穩定作戰階段，2007年10月，美軍第三機步師的一個小分隊執行進攻一個反美武裝據點的任務。為了應對恐怖分子可能的極端反擊手段和執行危險區域排險任務，小分隊攜帶了3臺裝載了武器的“利劍”智能機器人，以便在危急和需要的情況下，通過遙控下令“利劍”開火摧毀目標。
但不知是遙控指令受到幹擾還是“利劍”的程式運作紊亂所致，一臺“利劍”竟然調轉槍口指向操作者，操作者反覆發出“行動取消”的指令，失控的“利劍”仍是置若罔聞。為了避免傷及己方，分隊指揮員只得當機立斷，下令隊友用火箭筒將失控的“利劍”摧毀才化險為夷。這一事例説明，不僅將“射殺權”交給智能機器人是危險的，甚至將其裝備武器而不授權其自主開火，都有可能導致意想不到的危險。
也許有人會疑惑，“深藍”戰勝西洋棋大師和“阿法狗”戰勝世界一流棋手李世石和柯潔，不是説明智能機器人已經在思維上超越人類了嗎？事實並非如此。要説在某一方面超過人類，石頭的殺傷力就超過了人的拳頭。人工智慧在西洋棋和圍棋上戰勝人類，是因為此類遊戲的競賽規則簡單明確，易于用數學模型和電腦程式語言描述，而電腦的計算速度和能力又遠超人腦，還不會出現疲勞現象和受到情緒化波動的影響。
迄今為止，現有智能機器人所具有的任何能力，都是人類程式員用電腦語言寫就的程式賦予的。人能夠用電腦程式語言表達某一能力的前提，是人類對這一能力已經研究透徹並準確地描述。而人類對于自己大腦和思維的認識，除了某些特定領域，整體上還處于起步階段。
在戰場上作出“開火”的決定，是綜合衡量大量復雜因素的結果。現有技術甚至連作出這個決定時人的思維所要考慮的因素，都無法全面羅列出來，更不用説構建相應的數學模型，進行邏輯嚴謹的模擬演示。例如，《日內瓦公約》規定，不得射殺傷兵、醫護兵、跳傘飛行員及失去抵抗能力的士兵，智能機器人怎樣分辨出這些人，以及怎樣判斷對方是否已經失去抵抗能力，這些至少在當前還是難以逾越的技術障礙。
“殺人機器人”的最終出現或難避免
盡管如此，自主武器係統的出現可能很難被阻止。2016年美國空軍舉行的一次模擬空中對抗賽中，人工智慧係統以其靈活、迅捷的動作，擊敗了具備更強武器係統的退役戰鬥機飛行員。這和西洋棋大師輸給“深藍”，李世石、柯潔輸給“阿法狗”一樣，顯示了人工智慧在特定軍事領域具有超過優秀軍事人員的潛力。在軍事強權依然具有國際主導作用的時代，這樣的誘惑，對于具備科研條件的國家和軍隊是難以抵禦的。韓國國防部的“韓華Systems”項目和美國國防部的Maven項目就是明證。
目前，在武器裝備和指揮控制方面，人工智慧的主要研發應用包括陸地、海洋、太空等各類作戰機器人以及各類智能炸彈。隨著人工智慧技術的不斷完善並在軍事上廣泛應用，情報、決策與作戰一體化將取得快速進展。也就是説，韓國科研機構研制在無人控制的情況下搜索並消除目標的自主武器，已是當前人工智慧軍事化進展的代表方向。自主武器係統加入未來戰爭不會有太大懸念。但到底是人與機器人之間作戰，還是機器人與機器人之間作戰，取決于一定的戰爭主體在這場人工智慧軍事機器人研制賽跑中是領先還是落後。
也就是説，在是否將射殺權交給智能機器人問題上，關鍵不在“能不能”，而在“該不該”。在2017年人工智慧國際會議上，特斯拉首席執行官馬斯克、蘋果聯合創始人沃茲、研發“阿法狗”的深度思維公司哈薩比斯等人簽署公開信，呼吁聯合國像禁止生化武器一樣，禁止在戰爭中使用致命的自主武器即“殺手機器人”。“殺人機器人”的研發招致眾多科學家的反對和抵制，也許，“避免潛在風險”的唯一辦法就是永遠不將“射殺權”交給智能機器人。（吳敏文 作者單位：國防科技大學資訊通信學院）
