根据联合国安理会最近一份关于利比亚内战的报告，自主武器系统——通常被称为杀手机器人——可能在去年首次杀死了人类。历史很可能会将这一点确定为下一场重大军备竞赛的起点，这场竞赛有可能成为人类的最后一场竞赛。

自主武器系统是具有致命武器的机器人，可以独立操作，选择和攻击目标，而无需人类干预这些决定。世界各地的军事人员正在大力投资于自主武器研发。仅美国在2016年至2020年间就为自主武器编列了180亿美元的预算。与此同时，人权组织和人道主义组织正在竞相制定有关此类武器开发的法规和禁令。如果没有这种检查，外交政策专家警告说，破坏性自主武器技术将危险地破坏当前核战略的稳定，因为它们可能会从根本上改变对战略主导地位的看法，增加先发制人攻击的风险，也因为它们可能与化学、生物、放射性和核武器本身结合在一起。作为一名关注人工智能武器化的人权专家，我发现自主武器造成了核世界的不稳定平衡和支离破碎的保障措施变得更加不稳定和支离破碎，例如，美国总统发动罢工的权力受到了最低限度的限制——变得更加不稳定，更加支离破碎。我看到了自主武器的四大主要危险。首先是误认问题。当选择目标时，自动武器是否能够区分敌对士兵和玩玩具枪的12岁儿童？在逃离冲突地点的平民和反叛分子进行战术撤退之间。

这里的问题是机器会犯这样的错误，而人类不会。人的错误和算法错误之间的区别就像写信和发推特之间的区别一样。杀手机器人系统的规模、范围和速度——由一种瞄准算法决定，部署在整个大陆上-可能会使个人识别错误，比如最近美国无人驾驶飞机在阿富汗的袭击，相比之下，似乎只是四舍五入错误。自主武器专家保罗·沙雷（Paul Scharre）用失控枪的比喻来解释这一差异。失控的枪支是一种有缺陷的机枪，在释放扳机后会继续射击。这把枪继续开火，直到弹药耗尽，因为可以说，这把枪不知道自己犯了错误。逃跑的枪支非常危险，但幸运的是，他们有人操作，可以断开弹药链或试图将武器指向安全的方向。根据定义，自主武器没有这种保障。

重要的是，武器化的人工智能甚至不需要有缺陷才能产生失控的枪支效应。正如对不同行业的算法错误进行的多项研究所表明的那样，最好的算法——按设计运行——可以产生内部正确的结果，尽管如此，这些结果还是会在人群中迅速传播可怕的错误。

例如，匹兹堡医院设计的神经网络将哮喘确定为肺炎病例的风险降低因素；谷歌使用的图像识别软件将非洲裔美国人识别为大猩猩；亚马逊使用一种机器学习工具对求职者进行排名，系统地给女性分配了负面分数。

问题不仅在于当人工智能系统出错时，它们会大量出错。这是因为当他们犯错时，他们的制造者往往不知道他们为什么会犯错，因此也不知道如何纠正错误。人工智能的黑匣子问题使人们几乎无法想象自主武器系统在道义上负责任的发展。

扩散问题

接下来的两个危险是低端和高端扩散问题。让我们从低端开始。开发自主武器的军队现在正在进行，前提是他们将能够遏制和控制自主武器的使用。但如果说武器技术的历史告诉了世界什么，那就是：武器扩散。

市场压力可能导致一种可以被认为相当于是卡拉什尼科夫突击步枪的自主武器的制造和广泛销售：廉价、有效且几乎不可能在全球流通的杀人机器人。“卡拉什尼科夫”自主武器可能会落入政府以外的人手中控制，包括国际和国内恐怖分子。

然而，高端增殖也同样糟糕。各国可以竞争开发越来越具破坏性的自主武器，包括能够挂载化学、生物、放射性和核武器的武器。不断升级的武器使用会加剧武器杀伤力的道德风险。

高端自主武器可能会导致更频繁的战争，因为它们将减少历史上阻止和缩短战争的两种主要力量：对国外平民的关注和对本国士兵的关注。这些武器很可能配备了昂贵的道德监管者，旨在最大限度地减少附带损害，联合国特别报告员阿涅斯·卡拉马德称之为“外科手术打击的神话”，以平息道德抗议。自主武器还将减少对本国士兵的需求和风险，极大地改变各国在发动和维持战争时所进行的成本效益分析。

不对称战争——即在缺乏竞争技术的国家的土地上进行的战争——可能会变得更加普遍。想想冷战期间苏联和美国军事干预造成的全球不稳定，从第一次代理战争到今天世界各地经历的反击。将这一数字乘以目前瞄准高端自主武器的每个国家。

破坏战争法

最后，自主武器将破坏人类对抗战争罪行和暴行的最后一条捷径：国际战争法。这些法律早在1864年《日内瓦公约》（Geneva Convention）中就被编入了条约，是将战争与屠杀区分开来的国际细线。他们的前提是，即使在战时，人们也可以对自己的行为负责，在战斗中杀害其他士兵的权利并不意味着谋杀平民的权利。南斯拉夫联盟共和国前总统斯洛博丹·米洛舍维奇（Slobodan Milosevic）就是被追究责任的一个突出例子，他被联合国前南斯拉夫问题国际刑事法庭指控犯有危害人类罪和战争罪。

但如何追究自主武器的责任？谁该为犯下战争罪的机器人负责？谁会被审判？武器？那个士兵？士兵的指挥官？制造武器的公司？非政府组织和国际法专家担心，自主武器将导致严重的责任缺口。

要追究一名士兵部署自动武器犯下战争罪的刑事责任，检察官需要同时证明犯罪行为和犯罪意图，这两个拉丁语术语描述了犯罪行为和有罪心理。这在法律上是困难的，在道德上可能是不公正的，因为自主武器本身是不可预测的。我认为，在快速发展的环境中，士兵与自主武器做出的独立决策之间的距离太大了。

将责任推上指挥链或推回到生产现场，并不会使法律和道德挑战变得更容易。在一个没有规定对自主武器进行有意义的人为控制的世界里，将有战争罪行，没有战犯要追究责任。战争法的结构及其威慑价值将大大削弱。

一场新的全球军备竞赛

想象一个世界，在这个世界中，军队、叛乱团体以及国际和国内恐怖分子可以在他们选择的时间和地点部署理论上无限制的致命武力，理论上零风险，而无需承担由此产生的法律责任。在这个世界上，即使是亚马逊和谷歌这样的科技巨头，不可避免的算法错误也会导致整个城市被淘汰。

在我看来，世界不应该重蹈核军备竞赛的灾难性错误。它不应该梦游到反乌托邦

本文由The Conversation首次发布，并通过Creative Commons许可证重新发布

James Dawes是麦考斯特学院的英语教授。

图像：Flikr

简介