阅读我们的Oppenheimer系列

作者Peter Rautenbach|2023年2月16日

“宙斯盾”作战系统强大的计算机能够跟踪敌方目标并自主决定是否摧毁它们。在这张照片中，一艘宙斯盾级驱逐舰在2009年的一次演习中发射了自己的一枚导弹来拦截另一枚导弹。美国海军照片

人工智能（AI）系统面临着无数独特的技术问题，这些问题可能会直接增加无意中使用核武器的风险。为了控制这些问题，美国和英国承诺让人类参与决策循环。然而，最大的危险可能不在于技术本身，而在于它对与之互动的人类的影响。

让人类参与其中不足以确保人工智能系统的安全。事实上，依赖这种保障措施可能会导致风险的隐性增加

深度学习自动化授权机器系统与人类并肩作战或代替人类行动。自核武器问世以来，自动化在不同程度上在威慑、指挥和控制系统中发挥了作用，但先进的人工智能将把自动化提升到一个新的水平

人工智能系统能够解决传统上需要人类认知水平的问题或执行功能。机器学习是人工智能的一个子集，是当前智能机器激增背后的首要驱动力。深度学习是一种先进的机器学习过程，它使用多层人工神经网络来识别模式，并评估和管理大量非结构化或未标记的数据

这种能力使创建无人驾驶汽车、虚拟助理和欺诈检测服务成为可能

虽然没有一个州公开试图完全自动化其核武器系统，但将人工智能与指挥系统集成似乎很有希望，甚至是不可避免的。人工智能可以增强预警系统，提供战略分析支持和评估，加强通信系统，并提供类似于预测性警务的预测形式。但人工智能集成既有潜在的风险，也有好处。以下是这项快速发展的技术的好、坏和丑陋的一面：

好将人工智能与指挥系统相结合为各国提供了诱人的战略优势。人工智能系统可以以惊人的速度执行其指定的功能，大大超过人类操作员，而不会感到疲劳或准确性下降。他们可以梳理大量数据，找到看似不相关的数据点之间的模式和连接

人工智能还可以使威慑系统更加安全。人类有缺点也会犯错。自动化可以减少与人为错误、认知偏见和疲劳有关的核威胁。此外，人工智能可以通过保护通信和延长决策者对所谓发射探测做出反应的时间来减少不确定性并改进决策

包括前美国战略司令部将军John Hyten和前美国战略指挥部核指挥、控制和通信企业中心主任Elizabeth Durham Ruiz在内的官员的公开声明证实了人工智能在不久的将来可以在核指挥系统中发挥的重要作用。这种对人工智能与核指挥集成的支持，与美国核指挥机构的大规模现代化同时发生。在不久的将来，专家预测人工智能集成用于提高预警和监视系统的能力，梳理大型数据集，预测敌人的行为，加强对网络攻击的防护，并改善整个核指挥系统的通信基础设施

坏的尽管人工智能具有诸多优势，但它并非天生就优于人类。它具有重大而独特的技术缺陷和风险。任何与核指挥系统的整合都必须应对这一现实，如果操作不当，可能会增加无意中使用核武器的机会

复杂性滋生事故。用于指挥和控制的人工智能系统所需的代码量将是巨大的。错误和技术挑战将是不可避免的

由于“黑盒”问题，解决人工智能的技术挑战尤其困难。人工智能系统有些不可知，因为它们以人类无法完全理解的方式有效地编程。这种与生俱来的不透明性在时间框架短的安全关键情况下尤其成问题，这是核危机的特征

一个技术挑战是人工智能是“脆弱的”；即使是最强大、最智能的系统，当被带到陌生的领域，被迫面对未经训练的信息时，也会崩溃。例如，加州大学伯克利分校的研究生发现，当他们在屏幕上只添加一两个随机像素时，他们为持续击败雅达利电子游戏而训练的人工智能系统就会崩溃。考虑到核指挥系统运行的国际领域的复杂性，脆弱性很容易导致人工智能系统出现严重故障的危险情况，或者更危险的是，在看似正常工作的情况下提供错误的信息

第二个有点违反直觉的技术挑战是，人工智能系统是用人类的偏见构建的。构成所谓“客观”自主系统基础的算法和代码是使用人类提供的数据进行训练的。无论人类程序员多么善意，他们都不可避免地会在培训过程中引入人类偏见。例如，在以前成功应聘者的简历上训练的招聘算法可能会使以前低估女性应聘者的招聘委员会的偏见长期存在

这并不是说人工智能不应该被部署或集成到安全系统中。每一项技术都有缺陷，人工智能支持或取代的人类也不是完美的典范

尽管如此，这些技术问题还是需要预料到并加以考虑。可以而且必须采取提高人工智能系统安全性的措施来缓解或预防这些技术问题。让人类参与决策循环的承诺将在提高安全性方面发挥作用，因为人类的批判性思维是控制极其强大和聪明——但最终仍然有限——机器智能的重要工具

丑陋的不幸的是，将人工智能与核武器指挥系统相结合，影响的不仅仅是核决策的机器方面。除了这些技术问题之外，还对相关人员产生了影响，这使得让他们处于循环中的效果不如确保安全所需

一个关键问题是自动化偏见的发展，人类过度依赖人工智能，并无意识地认为系统是正确的。这种偏见已经在多种人工智能应用中被发现，包括医疗决策支持系统、飞行模拟器、空中交通管制，甚至在旨在帮助射手确定最危险的敌人目标以进行交战和炮击的模拟中

这不仅增加了技术缺陷被忽视的可能性，而且还代表了对这些机器智能的潜意识预先授权

2003年入侵伊拉克的早期阶段，自动化偏见和预先授权的危险显而易见。在涉及美国爱国者自动导弹系统的11次成功拦截中，有两次是自相残杀（友军开火事件）。由于爱国者系统的设计目的是击落战术弹道导弹，因此从探测到决定对来袭威胁开火之间的时间非常短。这意味着这个过程在很大程度上是自动化的，操作员几乎没有机会影响目标。该系统将完成大部分工作，操作员将发出最后的火警

在自相残杀中，爱国者队及其操作人员错误地将友军目标识别为敌方目标，并迅速向其开火，导致盟军飞行员死亡。在里面除了系统的技术问题以及围绕短决策时间框架的问题之外，审查自相残杀事件的特别工作组发现了自动化偏见的重要证据：爱国者号的操作员不仅信任他们的自动化系统，他们还接受了训练来信任它。

人类操作员在什么时候只会成为一个自主的、实际上不受控制的人工智能系统的生物扩展？虽然不确定训练或态度的差异是否会最终改变爱国者自相残杀的结果，但对机器的固有信任使人工智能系统更难防止技术错误。自动化偏见损害了人类的判断力

通过训练人类识别偏见，可以在一定程度上缓解这些问题。虽然这不是一个完美的解决方案，但这种训练会降低人们对人工智能系统能力的过度信心

是否需要速度尽管存在偏见和授权前的危险，但有充分的理由相信，各国可能会赋予军事人工智能在没有真正人类监督的情况下采取行动的权力。虽然提供了一种诱人的优势，但这有可能将战争带到“机器速度”——当战争以机器思维的速度进行时。在中国被称为“超级战争”或“战场奇点”的情况下，军事反应和决策可能在纳秒内发生

这让人想起美国核战略专家托马斯·谢林（Thomas Schelling）的担忧，即仓促行事是对和平的最大威胁。为了保持战场优势，各州可能会疯狂冲刺到底，有效地将权力预先委托给人工智能系统

许多有影响力的军事人物并不反对将人的因素进一步排除在决策循环之外。特伦斯·J·奥将军在担任北美防空司令部司令期间，于2020年表示，“我们必须摆脱的是……‘人在环中’，或者有时‘人就是环’。”

在极端情况下将控制权交给智能机器不是科幻小说。军用舰艇上使用的“宙斯盾”弹道导弹防御系统已经能够在没有任何人的情况下自主运行。然而，这种操作模式目前只适用于船上人员可能被压垮的军事行动，或者一名船长所描述的类似第三次世界大战的死亡或被杀场景

正如美国政治学家理查德·K·贝茨在2015年警告的那样，各州经常“因为误解、误判和担心如果不首先打击就会失败而陷入[战争]。”旨在根据优势迅速采取行动的军事人工智能可能会错过缓和局势的机会，或者功能太快，人类决策者无法干预并表明他们的缓和意图

将人类完全排除在决策过程之外是极端的。目前没有一个国家呼吁建立全自动核武器系统。尽管如此，决策过程的关键方面或其支持要素可以越来越自动化。为了充分利用机器的速度，各州可以有目的地将人类从关键路口的环路中清除

虽然人类远非完美，但人工智能系统的不可知性，加上对其优越性的隐含假设，创造了一个危险的环境。如下图所示，人工智能与核指挥、控制和通信（NC3）系统的集成可能会增加无意中使用核武器的机会

为了减轻这些风险，美国和英国等国家从其实力地位来看，可能很容易谴责全自动核系统。然而，其他核大国却不一定如此。一个被强大敌人包围的新兴核武器国家可以将全自动系统视为对闪电般的第一次打击进行有效威慑的唯一机会

即使对于目前安全的国家，像部分轨道轰炸系统这样的新兴运载系统也可以完全绕过预警，严重缩短本已极短的决策时间。随着实际和感知的战争速度的增加，正如《人工智能与战争的未来》一书的作者詹姆斯·约翰逊最近所说，问题是“核武器国家是否会在核企业中采用人工智能技术，而不是由谁、何时以及在多大程度上采用人工智能”。“

让人类参与循环的可信承诺是重要的信号工具，为解决人工智能系统的技术问题提供了一种方法。尽管如此，面对不断变化的人机关系和人工智能对人类决策的影响承诺是不够的。需要改变核理论、政策和培训，以及可行的技术解决方案和严格的审查，以防止在智能机器时代无意中使用核武器

编者按：本文改编自2022年11月国际学生/青年Pugwash（ISYP）第三次核时代会议上发表的一篇论文。选定的参与者有机会将他们的作品提交给公告发表，该公告是ISYP会议的合作伙伴之一

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：自动化偏见，循环中的人类，核指挥
主题：Artificial Intelligence，nuclear Weapons，Opinion，明日之声

复制链接
Facebook
推特
领英

是一名早期的研究人员，最近在伦敦…学院。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介