烏克蘭基輔街頭,裝有爆炸物的無人機像死魚一般肚皮朝上躺在地上,發(fā)出刺耳的噪音,尾部螺旋槳已經變形。這架無人機攜帶的致命爆炸物并未引爆,墜毀原因可能是故障或者被擊落。
這架無人機的照片很快被上傳到社交媒體,有武器專家確認這是由俄羅斯的武器制造商卡拉什尼科夫集團(Kalashnikov)的無人機部門扎拉航空(Zala Aero)生產的KUB-BLA“巡飛彈”。這類巡飛彈俗稱“自殺式無人機”,可以自動飛到指定區(qū)域巡航最長30分鐘。
無人機操作員能夠遠程監(jiān)控其拍回的視頻,等到地面出現(xiàn)敵軍士兵或坦克時發(fā)起攻擊。在某些情況下,無人機會安裝人工智能軟件,使其可以根據(jù)輸入到機載系統(tǒng)的圖像獵殺指定目標。無論在哪種情況下,只要無人機發(fā)現(xiàn)敵人并且操作人員選擇攻擊,無人機就會朝目標俯沖而下,然后爆炸。
俄烏戰(zhàn)場成為日益先進的巡飛彈的重要試驗場。這引起了人權活動家和技術人員的警惕。他們擔心,這代表戰(zhàn)場上利用“殺手機器人”的時代即將來臨。這些由人工智能控制的武器會在沒有人類決策的情況下自動獵殺人類。
隨著這項技術的快速完善和成本下降,它引起了各國軍隊的密切關注。小型半自動無人機的賣點在于,它的價格只有體型更大的“捕食者”(Predator)無人機的幾分之一,而且不需要由經驗豐富的飛行員遠程操控?!安妒痴摺睙o人機的價格可能高達數(shù)千萬美元。步兵只要接受一點培訓,就能夠輕松使用這些新型自動化武器。
海豹突擊隊(Navy SEAL)的前隊員、美國Shield AI公司的聯(lián)合創(chuàng)始人及首席增長官布蘭登·曾經說道:“‘捕食者’無人機價格過于昂貴,因此各國開始思考:‘能否用體積更小、價格更低的無人機實現(xiàn)98%的作戰(zhàn)效果?’”Shield AI公司致力于生產小型無人偵察機,使用人工智能進行導航和圖像分析。
但人權組織和一些計算機科學家卻擔心,這項技術將給戰(zhàn)區(qū)的平民甚至整個人類帶來新的嚴重威脅。
國際特赦組織(Amnesty International)的高級顧問維里蒂·科伊爾稱:“目前的巡飛彈還有人類操作人員負責決定攻擊目標,但取消人類操作并不難。一個巨大的威脅在于,如果沒有清晰的法規(guī),也就無法明確使用無人機的紅線在哪里。”國際特赦組織參與了停止殺手機器人(Stop Killer Robots)活動。
聯(lián)合市場研究公司(Allied Market Research)預測,全球人工智能驅動的各類致命武器市場發(fā)展迅速,其規(guī)模將從今年的近120億美元,增長到這個十年底的300億美元。Grand View Research公司表示,僅美國目前每年在巡飛彈方面的支出就高達約5.8億美元,到這個十年底將增加到10億美元。
從事巡飛彈生產的以色列國防公司UVision的國際銷售與營銷總監(jiān)達干·勒夫·阿里表示,最初巡飛彈需求增長緩慢,直到2020年亞美尼亞與阿塞拜疆爆發(fā)沖突。當時阿塞拜疆使用先進無人機和巡飛彈摧毀了亞美尼亞的大量坦克和火炮,幫助其取得了決定性的勝利。
勒夫·阿里指出,那場戰(zhàn)爭讓許多國家對巡飛彈產生了興趣。美國開始大規(guī)模采購,包括UVision的“英雄”(Hero)系列自殺式無人機,以及由美國公司AeroVironment生產的“彈簧刀”(Switchblade)無人機,也推動了該市場的增長。勒夫·阿里補充道,俄烏沖突加快了需求增長速度。他說:“人們突然發(fā)現(xiàn)歐洲可能爆發(fā)一場戰(zhàn)爭,國防預算不斷增加。”
巡飛彈的價格雖然低于某些武器,但實際上并不便宜。例如,有報告稱,一架“彈簧刀”無人機包括發(fā)射控制系統(tǒng)和彈藥在內的價格高達7萬美元。
據(jù)稱美國將向烏克蘭提供了100架“彈簧刀”無人機。這些“彈簧刀”將作為烏克蘭現(xiàn)有的土耳其造Bayraktar TB2無人機的補充。Bayraktar TB2無人機可以自動起飛、降落和巡航,但需要由人類操作人員尋找目標和發(fā)出發(fā)射機載火箭或投彈的命令。
巡飛彈并不是新鮮事物。最早的巡飛彈能夠追溯到20世紀60年代,當時的飛航式導彈可以飛到指定區(qū)域搜索敵軍防空系統(tǒng)的雷達信號。區(qū)別在于現(xiàn)在的巡飛彈技術更復雜、更準確。
理論上,人工智能武器系統(tǒng)能夠減少戰(zhàn)場上的平民傷亡。計算機處理信息的速度比人類更快,并且不會受到戰(zhàn)斗帶來的生理和情緒壓力的影響。在激烈交火中,計算機還可以更準確地判斷房子后面突然出現(xiàn)的是敵軍士兵還是一名兒童。
但人權活動家和許多人工智能研究者卻警告,面對是否要扼殺一個人的生命這個對所有人而言都最重要的決定,今天基于機器學習的算法在實踐中并不值得信任。圖像識別軟件在某些測試中雖然能夠媲美人類的能力,但在許多現(xiàn)實場景中,比如雨天或雪天環(huán)境,或者在光影對比明顯的環(huán)境下,這類軟件有明顯的不足。
它經常會犯一些人類從來不會犯的稀奇古怪的錯誤。例如在一次試驗中,研究人員成功欺騙了一個人工智能系統(tǒng),通過微調圖像的像素圖案,使系統(tǒng)把一只烏龜識別成一把步槍。
即使目標識別系統(tǒng)可以做到完全精確無誤,自動武器依舊會帶來嚴重的威脅,除非它能夠理解整個戰(zhàn)場上的細微差別。比如,人工智能系統(tǒng)可以準確識別敵軍坦克,卻無法理解它停靠的地點在一家幼兒園旁邊,為避免平民受傷不應該發(fā)動攻擊。
支持禁止使用自動武器的人們還強調了“殺戮機器人”的危險,例如大量價格相對低廉的小型無人機群經過改造能夠投放具有殺傷性的手榴彈,或者改造成巡飛彈。理論上,這類無人機群可以用于殺死某個區(qū)域內的所有人,或者實施種族滅絕,殺死具有某類種族特征的所有人,甚至能夠利用面部識別技術來執(zhí)行暗殺。
麻省理工學院(MIT)的物理學教授、生命未來研究所(Future of Life Institute)的聯(lián)合創(chuàng)始人馬克思·泰格馬克表示,成群結隊的殺戮機器人將成為“窮人的大規(guī)模毀滅性武器?!鄙磥硌芯克铝τ诮鉀Q人類面臨的“生存風險”。這類自動化武器可能動搖現(xiàn)有的世界秩序,因此他希望美俄等大國至少可以同意禁用這類殺戮機器人無人機和巡飛彈,盡管這些國家一直在研發(fā)從機器人潛艇到無人駕駛戰(zhàn)機等各種人工智能武器。
聯(lián)合國(United Nations)希望出臺禁令,限制致命自動化武器的開發(fā)和銷售,但到目前為止以失敗告終。聯(lián)合國下屬的委員會用超過八年時間,討論如何處理這類武器,始終未能達成任何共識。
雖然現(xiàn)在有66個國家支持出臺相關禁令,但該委員會需達成共識才能夠運行,而美國、英國、俄羅斯、以色列和印度均持反對立場。中國雖然也在開發(fā)人工智能武器,但已經表態(tài)支持禁令,只是在各國沒有簽署條約的情況下,中國不會單方面放棄研發(fā)。
對于殺戮機器人帶來的反烏托邦未來,生產巡飛彈和其他人工智能武器的公司表示,這些武器只是為了增強人類在戰(zhàn)場上的能力,而不是要取代人類。勒夫·阿里稱:“我們不希望武器自動攻擊?!钡姓J其公司正在武器中添加基于人工智能的目標識別系統(tǒng),以提高其自主性。他說:“這是為了協(xié)助人類做出必要決策。”
勒夫·阿里指出,即使武器可以找到目標,比如發(fā)現(xiàn)一輛敵軍坦克,這并不意味著它是最佳攻擊目標。他說:“那輛坦克可能已經無法行駛,而附近可能還有一輛更具有威脅性的坦克?!?/p>
英國謝菲爾德大學(University of Sheffield)的計算機科學專業(yè)榮譽教授諾埃爾·夏基是“停止殺手機器人”(Stop Killer Robots)活動的發(fā)言人。他表示,自動化正在加快戰(zhàn)場的節(jié)奏,人類沒有人工智能協(xié)助識別目標可能很難做出有效響應。一種人工智能創(chuàng)新必然會增加需求,演變成軍備競賽。夏基稱:“這將導致大規(guī)模人道主義災難?!?/p>
圖片來源:Courtesy of STM
致命的科技
人工智能武器已經被投入使用,但大多數(shù)武器未經人類同意無法選擇和攻擊目標。這樣的例子不勝枚舉。
Orca潛水艇
美國海軍正在與波音公司(Boeing)合作開發(fā)一款長51英尺(約15.54米)的潛水艇Orca。其目標是使這款潛水艇能夠自動巡航6500海里,可以使用聲吶探測敵軍船只和水雷。這款潛水艇的初始版本未配備武器,但美國海軍表示最新款能夠發(fā)射魚雷。
Kargu 2無人機
聯(lián)合國曾經得出結論,稱由土耳其公司STM生產的一架小型四旋翼飛行器,在2020年自動攻擊了一個利比亞軍閥的武裝,這讓其名聲大噪。據(jù)稱這是第一次有自殺式無人機自行選擇攻擊目標。但STM否認其無人機具備這一功能。
SGR-A1自動機槍
由韓國的韓華航空航天公司(Hanwha Aerospace)與高麗大學(Korea University)聯(lián)合開發(fā)的自動機槍SGR-A1,旨在幫助韓國守衛(wèi)與朝鮮之間的邊界。據(jù)媒體報道,這款機槍使用紅外熱成像技術偵測邊境附近的人員。如果目標沒有說出預先設定的密碼,這款機槍就會發(fā)出警報,或發(fā)射橡皮子彈或致命性子彈。
KUB-BLA巡飛彈
俄羅斯正在將這款小型巡飛彈應用到烏克蘭戰(zhàn)場。據(jù)其制造商扎拉航空透露,這款無人機的操作人員可以在發(fā)射前向系統(tǒng)上傳目標圖像。之后,這款無人機將自動定位戰(zhàn)場上的類似目標。
忠誠僚機(Loyal Wingman)
波音公司生產的“忠誠僚機”無人機長38英尺(約11.58米),會自動伴飛由飛行員駕駛的戰(zhàn)機和其他飛行器,提供警報和監(jiān)控,以及預警導彈襲擊和其他威脅。STM公司生產的Kargu 2無人機在測試中拍攝的視頻。(財富中文網)
本文另一版本發(fā)表于《財富》雜志2022年4月/5月刊,標題為《戰(zhàn)場上的人工智能》(A.I. goes to war)。
翻譯:劉進龍
審校:汪皓
烏克蘭基輔街頭,裝有爆炸物的無人機像死魚一般肚皮朝上躺在地上,發(fā)出刺耳的噪音,尾部螺旋槳已經變形。這架無人機攜帶的致命爆炸物并未引爆,墜毀原因可能是故障或者被擊落。
這架無人機的照片很快被上傳到社交媒體,有武器專家確認這是由俄羅斯的武器制造商卡拉什尼科夫集團(Kalashnikov)的無人機部門扎拉航空(Zala Aero)生產的KUB-BLA“巡飛彈”。這類巡飛彈俗稱“自殺式無人機”,可以自動飛到指定區(qū)域巡航最長30分鐘。
無人機操作員能夠遠程監(jiān)控其拍回的視頻,等到地面出現(xiàn)敵軍士兵或坦克時發(fā)起攻擊。在某些情況下,無人機會安裝人工智能軟件,使其可以根據(jù)輸入到機載系統(tǒng)的圖像獵殺指定目標。無論在哪種情況下,只要無人機發(fā)現(xiàn)敵人并且操作人員選擇攻擊,無人機就會朝目標俯沖而下,然后爆炸。
俄烏戰(zhàn)場成為日益先進的巡飛彈的重要試驗場。這引起了人權活動家和技術人員的警惕。他們擔心,這代表戰(zhàn)場上利用“殺手機器人”的時代即將來臨。這些由人工智能控制的武器會在沒有人類決策的情況下自動獵殺人類。
隨著這項技術的快速完善和成本下降,它引起了各國軍隊的密切關注。小型半自動無人機的賣點在于,它的價格只有體型更大的“捕食者”(Predator)無人機的幾分之一,而且不需要由經驗豐富的飛行員遠程操控?!安妒痴摺睙o人機的價格可能高達數(shù)千萬美元。步兵只要接受一點培訓,就能夠輕松使用這些新型自動化武器。
海豹突擊隊(Navy SEAL)的前隊員、美國Shield AI公司的聯(lián)合創(chuàng)始人及首席增長官布蘭登·曾經說道:“‘捕食者’無人機價格過于昂貴,因此各國開始思考:‘能否用體積更小、價格更低的無人機實現(xiàn)98%的作戰(zhàn)效果?’”Shield AI公司致力于生產小型無人偵察機,使用人工智能進行導航和圖像分析。
但人權組織和一些計算機科學家卻擔心,這項技術將給戰(zhàn)區(qū)的平民甚至整個人類帶來新的嚴重威脅。
國際特赦組織(Amnesty International)的高級顧問維里蒂·科伊爾稱:“目前的巡飛彈還有人類操作人員負責決定攻擊目標,但取消人類操作并不難。一個巨大的威脅在于,如果沒有清晰的法規(guī),也就無法明確使用無人機的紅線在哪里?!眹H特赦組織參與了停止殺手機器人(Stop Killer Robots)活動。
聯(lián)合市場研究公司(Allied Market Research)預測,全球人工智能驅動的各類致命武器市場發(fā)展迅速,其規(guī)模將從今年的近120億美元,增長到這個十年底的300億美元。Grand View Research公司表示,僅美國目前每年在巡飛彈方面的支出就高達約5.8億美元,到這個十年底將增加到10億美元。
從事巡飛彈生產的以色列國防公司UVision的國際銷售與營銷總監(jiān)達干·勒夫·阿里表示,最初巡飛彈需求增長緩慢,直到2020年亞美尼亞與阿塞拜疆爆發(fā)沖突。當時阿塞拜疆使用先進無人機和巡飛彈摧毀了亞美尼亞的大量坦克和火炮,幫助其取得了決定性的勝利。
勒夫·阿里指出,那場戰(zhàn)爭讓許多國家對巡飛彈產生了興趣。美國開始大規(guī)模采購,包括UVision的“英雄”(Hero)系列自殺式無人機,以及由美國公司AeroVironment生產的“彈簧刀”(Switchblade)無人機,也推動了該市場的增長。勒夫·阿里補充道,俄烏沖突加快了需求增長速度。他說:“人們突然發(fā)現(xiàn)歐洲可能爆發(fā)一場戰(zhàn)爭,國防預算不斷增加?!?/p>
巡飛彈的價格雖然低于某些武器,但實際上并不便宜。例如,有報告稱,一架“彈簧刀”無人機包括發(fā)射控制系統(tǒng)和彈藥在內的價格高達7萬美元。
據(jù)稱美國將向烏克蘭提供了100架“彈簧刀”無人機。這些“彈簧刀”將作為烏克蘭現(xiàn)有的土耳其造Bayraktar TB2無人機的補充。Bayraktar TB2無人機可以自動起飛、降落和巡航,但需要由人類操作人員尋找目標和發(fā)出發(fā)射機載火箭或投彈的命令。
巡飛彈并不是新鮮事物。最早的巡飛彈能夠追溯到20世紀60年代,當時的飛航式導彈可以飛到指定區(qū)域搜索敵軍防空系統(tǒng)的雷達信號。區(qū)別在于現(xiàn)在的巡飛彈技術更復雜、更準確。
理論上,人工智能武器系統(tǒng)能夠減少戰(zhàn)場上的平民傷亡。計算機處理信息的速度比人類更快,并且不會受到戰(zhàn)斗帶來的生理和情緒壓力的影響。在激烈交火中,計算機還可以更準確地判斷房子后面突然出現(xiàn)的是敵軍士兵還是一名兒童。
但人權活動家和許多人工智能研究者卻警告,面對是否要扼殺一個人的生命這個對所有人而言都最重要的決定,今天基于機器學習的算法在實踐中并不值得信任。圖像識別軟件在某些測試中雖然能夠媲美人類的能力,但在許多現(xiàn)實場景中,比如雨天或雪天環(huán)境,或者在光影對比明顯的環(huán)境下,這類軟件有明顯的不足。
它經常會犯一些人類從來不會犯的稀奇古怪的錯誤。例如在一次試驗中,研究人員成功欺騙了一個人工智能系統(tǒng),通過微調圖像的像素圖案,使系統(tǒng)把一只烏龜識別成一把步槍。
即使目標識別系統(tǒng)可以做到完全精確無誤,自動武器依舊會帶來嚴重的威脅,除非它能夠理解整個戰(zhàn)場上的細微差別。比如,人工智能系統(tǒng)可以準確識別敵軍坦克,卻無法理解它??康牡攸c在一家幼兒園旁邊,為避免平民受傷不應該發(fā)動攻擊。
支持禁止使用自動武器的人們還強調了“殺戮機器人”的危險,例如大量價格相對低廉的小型無人機群經過改造能夠投放具有殺傷性的手榴彈,或者改造成巡飛彈。理論上,這類無人機群可以用于殺死某個區(qū)域內的所有人,或者實施種族滅絕,殺死具有某類種族特征的所有人,甚至能夠利用面部識別技術來執(zhí)行暗殺。
麻省理工學院(MIT)的物理學教授、生命未來研究所(Future of Life Institute)的聯(lián)合創(chuàng)始人馬克思·泰格馬克表示,成群結隊的殺戮機器人將成為“窮人的大規(guī)模毀滅性武器。”生命未來研究所致力于解決人類面臨的“生存風險”。這類自動化武器可能動搖現(xiàn)有的世界秩序,因此他希望美俄等大國至少可以同意禁用這類殺戮機器人無人機和巡飛彈,盡管這些國家一直在研發(fā)從機器人潛艇到無人駕駛戰(zhàn)機等各種人工智能武器。
聯(lián)合國(United Nations)希望出臺禁令,限制致命自動化武器的開發(fā)和銷售,但到目前為止以失敗告終。聯(lián)合國下屬的委員會用超過八年時間,討論如何處理這類武器,始終未能達成任何共識。
雖然現(xiàn)在有66個國家支持出臺相關禁令,但該委員會需達成共識才能夠運行,而美國、英國、俄羅斯、以色列和印度均持反對立場。中國雖然也在開發(fā)人工智能武器,但已經表態(tài)支持禁令,只是在各國沒有簽署條約的情況下,中國不會單方面放棄研發(fā)。
對于殺戮機器人帶來的反烏托邦未來,生產巡飛彈和其他人工智能武器的公司表示,這些武器只是為了增強人類在戰(zhàn)場上的能力,而不是要取代人類。勒夫·阿里稱:“我們不希望武器自動攻擊。”但他承認其公司正在武器中添加基于人工智能的目標識別系統(tǒng),以提高其自主性。他說:“這是為了協(xié)助人類做出必要決策?!?/p>
勒夫·阿里指出,即使武器可以找到目標,比如發(fā)現(xiàn)一輛敵軍坦克,這并不意味著它是最佳攻擊目標。他說:“那輛坦克可能已經無法行駛,而附近可能還有一輛更具有威脅性的坦克?!?/p>
英國謝菲爾德大學(University of Sheffield)的計算機科學專業(yè)榮譽教授諾埃爾·夏基是“停止殺手機器人”(Stop Killer Robots)活動的發(fā)言人。他表示,自動化正在加快戰(zhàn)場的節(jié)奏,人類沒有人工智能協(xié)助識別目標可能很難做出有效響應。一種人工智能創(chuàng)新必然會增加需求,演變成軍備競賽。夏基稱:“這將導致大規(guī)模人道主義災難?!?/p>
致命的科技
人工智能武器已經被投入使用,但大多數(shù)武器未經人類同意無法選擇和攻擊目標。這樣的例子不勝枚舉。
Orca潛水艇
美國海軍正在與波音公司(Boeing)合作開發(fā)一款長51英尺(約15.54米)的潛水艇Orca。其目標是使這款潛水艇能夠自動巡航6500海里,可以使用聲吶探測敵軍船只和水雷。這款潛水艇的初始版本未配備武器,但美國海軍表示最新款能夠發(fā)射魚雷。
Kargu 2無人機
聯(lián)合國曾經得出結論,稱由土耳其公司STM生產的一架小型四旋翼飛行器,在2020年自動攻擊了一個利比亞軍閥的武裝,這讓其名聲大噪。據(jù)稱這是第一次有自殺式無人機自行選擇攻擊目標。但STM否認其無人機具備這一功能。
SGR-A1自動機槍
由韓國的韓華航空航天公司(Hanwha Aerospace)與高麗大學(Korea University)聯(lián)合開發(fā)的自動機槍SGR-A1,旨在幫助韓國守衛(wèi)與朝鮮之間的邊界。據(jù)媒體報道,這款機槍使用紅外熱成像技術偵測邊境附近的人員。如果目標沒有說出預先設定的密碼,這款機槍就會發(fā)出警報,或發(fā)射橡皮子彈或致命性子彈。
KUB-BLA巡飛彈
俄羅斯正在將這款小型巡飛彈應用到烏克蘭戰(zhàn)場。據(jù)其制造商扎拉航空透露,這款無人機的操作人員可以在發(fā)射前向系統(tǒng)上傳目標圖像。之后,這款無人機將自動定位戰(zhàn)場上的類似目標。
忠誠僚機(Loyal Wingman)
波音公司生產的“忠誠僚機”無人機長38英尺(約11.58米),會自動伴飛由飛行員駕駛的戰(zhàn)機和其他飛行器,提供警報和監(jiān)控,以及預警導彈襲擊和其他威脅。STM公司生產的Kargu 2無人機在測試中拍攝的視頻。(財富中文網)
本文另一版本發(fā)表于《財富》雜志2022年4月/5月刊,標題為《戰(zhàn)場上的人工智能》(A.I. goes to war)。
翻譯:劉進龍
審校:汪皓
The explosive-packed drone lay belly-up, like a dead fish, on a Kyiv street, its nose crushed and its rear propeller twisted. It had crashed without its deadly payload detonating, perhaps owing to a malfunction or because Ukrainian forces had shot it down.
Photos of the drone were quickly uploaded to social media, where weapons experts identified it as a KUB-BLA “l(fā)oitering munition” made by Zala Aero, the dronemaking arm of Russian weapons maker Kalashnikov. Colloquially referred to as a “kamikaze drone,” it can fly autonomously to a specific area and then circle for up to 30 minutes.
The drone’s operator, remotely monitoring a video feed from the craft, can wait for enemy soldiers or a tank to appear below. In some cases, the drones are equipped with A.I. software that lets them hunt for particular kinds of targets based on images that have been fed into their onboard systems. In either case, once the enemy has been spotted and the operator has chosen to attack it, the drone nose-dives into its quarry and explodes.
The war in Ukraine has become a critical proving ground for increasingly sophisticated loitering munitions. That’s raised alarm bells among human rights campaigners and technologists who fear they represent the leading edge of a trend toward “killer robots” on the battlefield—weapons controlled by artificial intelligence that autonomously kill people without a human making the decision.
Militaries worldwide are keeping a close eye on the technology as it rapidly improves and its cost declines. The selling point is that small, semiautonomous drones are a fraction of the price of, say, a much larger Predator drone, which can cost tens of millions of dollars, and don’t require an experienced pilot to fly them by remote control. Infantry soldiers can, with just a little bit of training, easily deploy these new autonomous weapons.
“Predator drones are superexpensive, so countries are thinking, ‘Can I accomplish 98% of what I need with a much smaller, much less expensive drone?’?” says Brandon Tseng, a former Navy SEAL who is cofounder and chief growth officer of U.S.-based Shield AI, a maker of small reconnaissance drones that use A.I. for navigation and image analysis.
But human rights groups and some computer scientists fear the technology could represent a grave new threat to civilians in conflict zones, or maybe even the entire human race.
“Right now, with loitering munitions, there is still a human operator making the targeting decision, but it is easy to remove that. And the big danger is that without clear regulation, there is no clarity on where the red lines are,” says Verity Coyle, senior adviser to Amnesty International, a participant in the Stop Killer Robots campaign.
The global market for A.I.-enabled lethal weapons of all kinds is growing quickly, from nearly $12 billion this year to an expected $30 billion by the end of the decade, according to Allied Market Research. In the U.S. alone, annual spending on loitering munitions, totaling about $580 million today, will rise to $1 billion by the end of the decade, Grand View Research said.
Dagan Lev Ari, the international sales and marketing director for UVision, an Israeli defense company that makes loitering munitions, says demand had been inching up until 2020, when war broke out between Armenia and Azerbaijan. In that conflict, Azerbaijan used advanced drones and loitering munitions to decimate Armenia’s larger arsenal of tanks and artillery, helping it achieve a decisive victory.
That got many countries interested, Lev Ari says. It also helps that the U.S. has begun major purchases, including UVision’s Hero family of kamikaze drones, as well as the Switchblade, made by rival U.S. firm AeroVironment. The Ukraine war has further accelerated demand, Lev Ari adds. “Suddenly, people see that a war in Europe is possible, and defense budgets are increasing,” he says.
Although less expensive than certain weapons, loitering munitions are not cheap. For example, each Switchblade costs as much as $70,000, after the launch and control systems plus munitions are factored in, according to some reports.
The U.S. is said to be sending 100 Switchblades to Ukraine. They would supplement that country’s existing fleet of Turkish-made Bayraktar TB2 drones, which can take off, land, and cruise autonomously, but need a human operator to find targets and give the order to drop the missiles or bombs they carry.
Loitering munitions aren’t entirely new. More primitive versions have been around since the 1960s, starting with a winged missile designed to fly to a specific area and search for the radar signature of an enemy antiaircraft system. What’s different today is that the technology is far more sophisticated and accurate.
In theory, A.I.-enabled weapons systems may be able to reduce civilian war casualties. Computers can process information faster than humans, and they are not affected by the physiological and emotional stress of combat. They might also be better at determining, in the heat of battle, whether the shape suddenly appearing from behind a house is an enemy soldier or a child.
But in practice, human rights campaigners and many A.I. researchers warn, today’s machine-learning–based algorithms can’t be trusted with the most consequential decision anyone will ever face: whether to take a human life. Image recognition software, while equaling human abilities in some tests, falls far short in many real-world situations—such as rainy or snowy conditions, or dealing with stark contrasts between light and shadow.
It can often make strange mistakes that humans never would. In one experiment, researchers managed to trick an A.I. system into thinking that a turtle was actually a rifle by subtly altering the pattern of pixels in the image.
Even if target identification systems were completely accurate, an autonomous weapon would still pose a serious danger unless it were coupled with a nuanced understanding of the entire battlefield. For instance, the A.I. system may accurately identify an enemy tank, but not understand that it’s parked next to a kindergarten, and so should not be attacked for fear of killing civilians.
Some supporters of a ban on autonomous weapons have evoked the danger of “slaughterbots,” swarms of small, relatively inexpensive drones, configured either to drop an antipersonnel grenade or as loitering munitions. Such swarms could, in theory, be used to kill everyone in a certain area, or to commit genocide, killing everyone with certain ethnic features, or even use facial recognition to assassinate specific individuals.
Max Tegmark, a physics professor at MIT and cofounder of the Future of Life Institute, which seeks to address “existential risks” to humanity, says swarms of slaughterbots would be a kind of “poor man’s weapon of mass destruction.” Because such autonomous weapons could destabilize the existing world order, he hopes that powerful nations—such as the U.S. and Russia—that have been pursuing other kinds of A.I.-enabled weapons, from robotic submarines to autonomous fighter jets, may at least agree to ban these slaughterbot drones and loitering munitions.
But so far, efforts at the United Nations to enact a restriction on the development and sale of lethal autonomous weapons have foundered. A UN committee has spent more than eight years debating what, if anything, to do about such weapons and has yet to reach any agreement.
Although as many as 66 countries now favor a ban, the committee operates by consensus, and the U.S., the U.K., Russia, Israel, and India oppose any restrictions. China, which is also developing A.I.-enabled weapons, has said it supports a ban, but absent a treaty, will not unilaterally forgo them.
As for the dystopian future of slaughterbots, companies building loitering munitions and other A.I.-enabled weapons say they are meant to enhance human capabilities on the battlefield, not replace them. “We don’t want the munition to attack by itself,” Lev Ari says, although he acknowledges that his company is adding A.I.-based target recognition to its weapons that would increase their autonomy. “That is to assist you in making the necessary decision,” he says.
Lev Ari points out that even if the munition is able to find a target, say, an enemy tank, it doesn’t mean that it is the best target to strike. “That particular tank might be inoperable, while another nearby may be more of a threat,” he says.
Noel Sharkey, emeritus professor of computer science at the University of Sheffield in the U.K., who is also a spokesperson for the Stop Killer Robots campaign, says automation is speeding the pace of battle to the point that humans can’t respond effectively without A.I. helping them identify targets. And inevitably one A.I. innovation is driving the demand for more, in a sort of arms race. Says Sharkey, “Therein lies the path to a massive humanitarian disaster.”
*****
Deadly tech
A.I.-enabled weapons are already here—but most are unable to select and attack targets without a human’s approval. These are some examples.
Orca
The U.S. Navy is working with Boeing on a 51-foot-long submersible called the Orca. The goal is for it to navigate autonomously for up to 6,500 nautical miles, using sonar to detect enemy vessels and underwater mines. While the initial version will be unarmed, the Navy has suggested that a later one will be able to fire torpedoes.
Kargu 2
This small quadcopter by Turkish company STM made headlines after the United Nations concluded that one had autonomously attacked forces affiliated with a Libyan warlord in 2020. It was said to be the first time a kamikaze drone had selected a target on its own. But STM denies its drone is capable of doing so.
SGR-A1
An autonomous machine gun developed by South Korea’s Hanwha Aerospace and Korea University that is designed to help South Korea defend its border with North Korea. According to a news account, it uses thermal and infrared imaging to detect people near the border. If the target doesn’t speak a predesignated password, the gun can sound an alarm or fire either rubber or lethal bullets.
KUB-BLA
Russia is using this small loitering munition in Ukraine. According to its manufacturer, Zala Aero, the drone’s operator can upload a target image to the system before launch. The aircraft can then autonomously locate similar targets on the battlefield.
Loyal Wingman
Produced by Boeing, this 38-foot-long drone autonomously accompanies crewed fighter jets and other aircraft to provide intelligence and surveillance, as well as warn of incoming missiles and other threats. The video feed from STM’s Kargu 2 drone during a test.
A version of this article appears in the April/May 2022 issue of Fortune with the headline, “A.I. goes to war.”