（此报告可在此处作为 Google 文档查看。）

本报告是作为剑桥存在风险倡议暑期研究奖学金的一部分完成的，并在 2022 年 9 月该计划结束后继续提供资助支持。

致谢

特别感谢我的 CERI 导师 Haydn Belfield 的不间断支持，以及 Uliana Certan 无可挑剔的编辑天赋。我还要感谢那些花时间讨论这项研究的人，包括 Michael Aird、Matthew Gentzel、Kayla Matteucci、Darius Meissner、Abi Olvera 和 Christian Ruhl。当然，最后要感谢整个 CERI 团队和其他研究人员的所有支持和激烈的辩论。

一、总结：

1.1 问题

由于与人工智能 (AI) 的集成，核指挥和控制系统的自主性不断增强，这将产生战略层面的影响，可能会增加核稳定性或增加核使用的风险。当前和近期机器学习 (ML) 系统中固有的技术缺陷，再加上不断发展的人机心理关系，会导致错误的判断力，从而增加核风险，并可能导致无意或错误地使用核武器。从这份报告中得出的一个关键结论是，这个问题没有解决方案；相反，它代表了核决策背后范式的转变，它要求我们改变推理、行为。

下图展示了从 AI/ML 系统与核指挥和控制集成到增加核武器使用风险的一般路径。

驾驭我们与机器的关系，尤其是在军事环境中，是保护人类生命不可或缺的一部分。在已经存在争议的核层面上考虑这一挑战时，我们的关注点从保护人类生命扩展到保护人类文明。毫无疑问，任何改变围绕核武器使用的决策的发展都需要我们的密切关注。AI 和 ML 有望显着提高整个核指挥、控制和通信 (NC3) 的自动化程度。只有时间才能揭示这将以何种方式展开，但早期预警和决策支持系统似乎很可能成为高度自动化的候选者。

集成 ML 系统可以提高这些系统的准确性，同时还可能消除与人为相关的错误。然而，鉴于它们在检测中的重要性，以及它们的误报历史，任何影响早期预警和决策支持系统的事情都需要进行最严格的审查，即使这种改变可能会提高此类系统的安全性。

本报告旨在阐述问题、分析可能的解决方案并提供旨在支持有影响力的项目和开发的融资机会。然而，以更类似于学术论文的方式，本报告中的直通线强调了 ML fessably 为 NC3 带来的自动化可能对核决策制定产生重大影响。通过提高自动化程度，我们实际上是在将权力“预先委派”给机器智能，尽管它们可以带来优势，但这些系统不可避免地存在缺陷。从某种意义上说，它们的不完美本身并不会破坏任何支持 ML 集成的论点。他们要么与人类操作员一起工作，要么取代那些有缺陷且能力有限的操作员。然而，

开发 AI 的真正目的是让它的理论能力比人类表现得更好——更快、更强和持续保持警惕。然而，对他们能力的过度自信可能会导致技术的过度部署和过早的“预先委派”责任。这不仅为现代和近期 ML 系统中的技术缺陷奠定了基础，从而增加了灾难的风险，而且还将人性从这一过程中移除。虽然人类远非完美，但在不到一个世纪的时间里，我们已经设法避免了无意中使用核武器和发生核战争。我认为人性弱点本身在防止无意中使用核武器方面发挥了关键作用。

1.2 可能的干预措施？

所以，有兴趣减少因 ML 与 NC3 计划不周的整合而产生的核风险的慈善家可以支持努力增加关于该主题的研究和讨论，和/或努力为这些概念和可能性提供更有力的实证支持。

可能的干预措施包括资助新的实验性兵棋推演工作、资助主要智库的研究以及加强国际人工智能治理工作。虽然远非详尽的清单，但以下一些智囊团和研究小组可能是有影响力的候选人：

联合国裁军研究所
斯德哥尔摩国际和平研究所
兰德公司
战略与国际研究中心
核威胁倡议

我在文件末尾更详细地研究了每项干预措施。

1.3 目标受众

本报告旨在概述将 AI/ML 与 NC3 集成可能对无意使用风险产生的影响。它也主要是为已经在一定程度上精通核威慑文献并了解危机稳定/不稳定意味着什么的观众设计的。尽管如此，本报告确实深入探讨了其中一些主题，因为它们直接与主要论点相互作用。这份报告不是深入探讨人工智能技术背后的计算机科学，也不是旨在作为人机关系权威的心理学研究。

这项工作旨在建立核威慑和人工智能安全领域的见解。在综合这两个领域的文献时，我希望告知核资助者这种整合所涉及的风险，并为进一步研究或其他缓解这一问题的努力提供方向。

1.4 分析范围

这项工作的重点是美国和西方盟国：英国、法国和以色列。这样做的原因有三个：

不同大国之间的体制不同，核大国之间，我最有资格考察西方的核指挥。
所解决的问题与技术本身有关：它如何可能影响人机关系并影响核决策。这些问题不是国家特定的，因此从本报告的范围中省略其他核国家并不是一个重大缺陷。
降低核风险的合作努力可以说是更可取的，但单边行动很重要，可以对核稳定产生积极影响。

在这种情况下，任何减轻人工智能与核指挥集成的负面影响的努力都可能在所有参与者的安全方面产生积极的结果。因此，可以先以美国为中心，为降低核风险提供合理的建议。

还有危言耸听的问题。一些思想家正确地指出，对新兴技术的讨论往往是一种危险的危言耸听形式。^[1] 从历史上看，其他被预测会改变战争性质的技术（例如化学武器）未能达到这些期望。^[2] 其他时候，“即使技术确实具有重大的战略影响，它们也往往需要几十年才能出现，正如飞机和坦克的发明所说明的那样。” ^[3] 一个明显的例外是核武器的出现。自其构想以来，其绝对破坏力的不可否认性一直主导着国际安全和大国互动。虽然人工智能将如何影响整个世界，特别是军事环境的细节尚不确定，但有理由担心，与其他过度炒作的技术相比，它更类似于核武器。人工智能被比作电；“就像电力，通过电力使我们周围的物体栩栩如生一样，人工智能也将通过智能使它们栩栩如生。” ^[4] 还有人称这将是“人类历史上最大的地缘政治革命”。^[5] 战略军事人工智能的潜在巨大影响，以及针对该问题的慈善捐助相对较少，凸显了概述潜在危险的必要性。

1.5 报告大纲

本报告首先定义讨论 AI 和 NC3 的含义。其次，它随后概述了将 AI 与 NC3 集成的压力、支持这一主张的证据，以及这种现代化是如何发生的。第三，该报告描述了可能导致核使用风险增加的机制：人工智能系统内的技术缺陷和人机关系周围的问题。第四，报告简要分析了针对这些风险的各种解决方案，并概述了最有可能对降低风险产生积极影响的方案。第五，也是最后一点，它提供了一份易于处理的融资机会清单。

2. 定义讨论的关键方面

2.1 人工智能与机器学习

自核武器问世以来，自动化在不同程度上一直是威慑和指挥/控制的一部分。^[6] 公众想象的“现代人工智能”是一个相对较新的补充。苏联周边系统，在西方被称为“死亡之手”，是核武器自动化的更极端形式的一个例子。这是一个自动化的 NC3 系统，旨在在检测到潜在的核爆炸并且与国家领导层的通信中断的情况下做出反应。该系统可以将此解释为对俄罗斯进行核攻击的迹象，^[7] 并赋予人类操作员在加固掩体中发射核导弹作为回应的权力和能力。^[8] 除了 Perimetr 系统提供的信息外，该操作员可能只有很少的信息，并且必须决定是否相信其决定。

关于这个 Perimetr 系统实际上是如何开发的存在分歧。^[9] 尽管如此，它还是一个例子，说明了将“世界末日设备”与机器智能相关联的潜在陷阱。幸运的是，美国和英国都已正式宣布，人类将始终保持政治控制，并在涉及核武器时继续参与决策。^[10]

“人工智能”这个词有无数种不同的定义，从杀手机器人到对狗的图像进行分类的程序。将这些计算过程归入人工智能总称的原因是它们解决问题或执行传统上需要人类认知水平的功能的能力。^[11]

机器学习 (ML) 是这项研究的一个重要子领域，因为这些系统“通过在过去的数据中寻找统计关系”来学习。^[12] 为此，他们使用大量真实世界信息数据集进行训练。例如，图像分类器会显示数百万个特定类型和形式的图像。^[13] 从那里，他们可以查看新图像并使用他们训练有素的知识来确定他们看到的是什么。还有许多方法可以训练 ML 系统。训练可以是有监督的，其中数据集由人类预先标记，也可以是无监督的，其中人工智能发现“隐藏的模式或数据分组而无需人工干预”。^[14]

考虑到这一点，虽然 ML 是智能机器复兴背后的首要驱动力，但它自己的深度学习子集可以说是人工智能用于核指挥的主要方式。深度学习与机器学习的不同之处在于其神经网络层的数量或深度，这使得它可以自动化大部分训练过程，并且需要更少的人参与其训练。^[15] 这种自动化允许系统使用非结构化或未标记的数据来训练自己，方法是在更大的数据集中寻找非人类策划的模式。这使得它们对于识别模式以及管理和评估“武装部队用于情报、战略稳定和核风险的系统”的数据非常有用。^[16]

但是，由于 AI 与 NC3 集成的方式可能多种多样且范围广泛，因此在本报告中讨论 AI 时，我通常会使用 ML 术语。为了说明这一点，一项研究发现构成 NC3 的子系统中可能有 39% 可以与 ML 集成。^[17] 虽然深度学习对于 AI 在命令系统中的成功可能至关重要，但它只是 ML 的一个非常重要的子集，因此本报告将重点关注机器学习的概念。

机器学习是智能机器在核指挥中出现的关键，它所带来的自主性可以说是最重要的好处。自主性，或“机器自主性”，“可以定义为机器在没有人工输入的情况下，使用计算机编程与环境的交互来执行一项或多项任务的能力。” ^[18]

通过在某些情况下将人工操作员从决策循环中移除，人们可以更好地利用机器学习系统的操作速度和技能来发现大型复杂数据集中的隐藏模式。这在军事环境中具有巨大的战略优势，在军事环境中，急速和可靠的信息非常重要。出于本报告的目的，人工智能集成将在 ML、自动化及其评估数据和提供分析的能力方面进行总体讨论。

2.2 核指挥、控制和通信（NC3）

NC3 是“警告、通信和武器系统以及人类分析员、决策者和操作员的组合，参与命令和执行核打击，以及防止未经授权使用核武器”。^[19]

可以使用新的更强大的 ML 系统来提高 NC3 完成评估的速度和质量。ML 系统通过客观地对大量数据进行连续分类来发现相关性的能力与核安全领域内的预警系统和发射前检测活动特别相关。

在 NC3 中关注早期预警和决策支持系统的另一个核心原因是它们的敏感性和对无意使用可能性的影响。自核武器问世以来，由于技术和人为错误，出现了大量误报。^[20] 1983 年 9 月发生在苏联的一个现代经典的例子，当时 Stanislav Yevgrafovich Petrov 中校的早期预警系统错误地检测到五枚来袭的美国民兵洲际弹道导弹 (ICBM)。系统以最高置信度确认攻击，概率因子为 2。^[21] 尽管如此，他对该系统的能力和准确性持保留态度，并意识到来袭的攻击规模太小，不符合苏联的战略理论。^[22] 最终他致力于将其报告为误报，他的直觉是正确的。机器发出了错误的信号，彼得罗夫的怀疑和批判性思维的结合可能有助于阻止苏联的报复。

在铁幕的另一边，NORAD 并非没有人为和技术错误导致误报情况。1979 年 11 月，一个预警系统被意外输入了旨在模拟即将到来的苏联核攻击的测试场景数据。Lucky radar 即将确认这是一个错误，并且在 1980 年，NORAD“改变了关于支持警告发射所需证据的规则和标准”。^[23] 然而，这并不是唯一的例子，因为不到一年后，一个有故障的计算机芯片导致早期预警系统检测到看起来像是即将到来的苏联攻击。^[24] 1980年6月3日凌晨2点26分，国家安全顾问兹比格涅夫·布热津斯基接到一通电话，通知他向美国发射了220枚导弹，随后在另一通电话中得到证实，导弹数量增加到2200枚。^[25] 就在布热津斯基正要通知卡特总统之前的最后一分钟，他接到了最后一通电话，告诉他这是一个错误的警报，是由一个有故障的计算机芯片引起的。从某种意义上说，这些故事表明，即使面对复杂和有缺陷的系统，组织安全措施也可以防止无意使用。然而，它们也说明了即使犯了一个小错误，我们也会轻而易举地到达使用核武器的潜在边缘。

集成 ML 系统可以提高这些系统的准确性，同时还可能消除这些错误的人为根源。然而，鉴于它们在检测中的重要性，以及它们的误报历史，任何影响早期预警和决策支持系统的事情都需要进行最严格的审查，即使这种改变可能会提高此类系统的安全性。

3. 将 AI 与 NC3 集成的压力及其可能采取的形式：

3.1 将 ML 与核系统集成的压力

尽管概述了 AI 集成的危险，但在 NC3 中使用 ML 系统存在压力和动机。如前所述，自动化一直在核战略和威慑中发挥作用。ML 可以将自动化水平提升到新的高度，并有可能改变核武器的决策。

从某种意义上说，各国希望这种整合是为了获得它所承诺的战略优势。^[26] ML 系统可以不休息地运行，查看大量数据，而且也许最重要的是，它能够以一种通常优于人类分析师的方式找到模式和联系，因为它还能够从看似无关的数据点中得出结论。^[27] 此外，当前的 NC3 系统正在老化，最后一次重大更新是在 1980 年代。^[28] 确保 NC3 技术有效性的必要性是明确的。

除了按预期进行威慑之外，还有兴趣确保系统逐渐更安全。ML 的自动化旨在减少与人为错误、认知偏差和疲劳相关的近乎呼叫的数量。^[29] 尽管对集成 AI 存在担忧，但显而易见的是，人类操作员远非完美，容易出现偏见或犯错误，尤其是在完成重复性任务或评估对抗性动作时。

最后，各国有兴趣跟上（如果不是超越）对手的军事技术。^[30] 这对于在核指挥中实施 ML 尤其令人担忧，因为“为了获得针对对手的真实或感知的核战略优势，同时参与 AI 竞赛，各国可能不太重视 AI 安全问题和更多关于技术发展。” ^[31] 虽然主要国家对 AI 技术的发展目前可能不能最好地描述为“竞赛”，但跟上的压力是显而易见的：“AI 有可能彻底改变战争和整个世界的面貌......这反过来不仅推动了全面整合，而且增加了我们的进步和敌对国家的进步提高我们部署人工智能系统的速度的风险，即使缺乏测试安全措施也是如此。” ^[32] 现代化的 NC3 不仅会包含 ML，而且存在匆忙集成的真正风险，其风险承受能力高于通常接受的风险。

3.2 现代化

鉴于将 ML 与核指挥整合的这些压力，有哪些具体证据表明美国国防机构内部正在考虑整合？此外，这种集成如何具体发生在早期预警决策支持系统中？

尽管这些发展具有固有的机密性，但美国领导层的公开声明表明，NC3 现代化可能包括进一步的自动化和人工智能集成。^[33] 当被问及人工智能和 NC3 现代化时，前美国战略司令部司令海顿将军表示：“我认为人工智能可以发挥重要作用。” ^[34] 美国战略司令部 NC3 企业中心出版物的前任主任表示，NC3 现代化需要 AI 专家。^[35] This follows statements by former U.S. Secretary of Defense James Mattis who also expressed an interest in the use of militarized AI and its ability to fundamentally change warfare.^[36]

在此基础上，“例如，美国 2020 财年预算将人工智能列为研发重点，并提议为美国人工智能计划提供 8.5 亿美元的资金。” ^[37] 中国已“宣布其打算到 2030 年在 AI 领域引领世界，估计将超过数百亿美元。” ^[38] 未来十年，人工智能与 NC3 的现代化和集成可能会采取多种不同的形式，作为 NC3 现代化的一部分，超过 700 亿美元将用于指挥和控制以及预警系统。^[39]

鉴于这些陈述和人工智能的潜在好处，可以合理地假设将进一步的人工智能和自动化纳入军队的努力包括 NC3。至少，应该假设这种前景正在探索中，如果现在不进行整合，那么在未来几年很容易发生。

考虑到这些不同的迹象表明，将人工智能集成到包括 NC3 在内的军事系统中显然是有益的，并且美国军方正在积极探索，因此有必要讨论集成可能影响风险的两种重要的总体方式：首先，通过预警系统，其次通过一种“预测性预测”的形式。

3.3 预警：

预警系统是 NC3 的核心部分，人工智能系统的集成将特别受到激励和影响。美国预警系统使用基于速度的红外 (IR) 传感器和地面雷达的组合来检测潜在的来袭弹道导弹. ^[40] 然后，这会在位于科罗拉多州的北美航空航天防御 (NORAD) 司令部触发警报，分析师会在该司令部确认和验证警告，然后在认为可靠的情况下迅速将信息提交给领导层。^[41]

整个过程在几分钟内完成——对于分析高风险情况和避免错误来说，这已经是很短的时间了。然而，对传入攻击的检测和分析正变得越来越复杂。早期预警系统必须能够检测多个目标并区分：攻击类型、发射点和撞击点、有效性等。^[42] AI 可以消除人性中最糟糕的方面，同时提供对大量数据的分析，传统上对于人类分析师来说，AI 既费脑又乏味。这可以说是 AI 集成背后的一个重要驱动因素，因为偏见和疲惫都是人类的局限性，很容易阻碍良好的决策制定。

机器学习系统至少可以有效地取代人类评估预警信息以确定威胁可信度的部分分析工作。“最近的出版物强调了基于机器学习的算法在雷达应用中提供更好辨别能力的潜力。如果用于预警系统，原则上这可以减少误报。” ^[43] 预警信息变得越来越复杂，确定危险有效性的时间范围越来越小。新的武器技术，例如高超音速运载系统，可能会出现较晚或混淆的检测系统，从而使传统检测变得复杂。^[44]

此外，高超音速武器甚至攻击自动化等技术的出现意味着战斗可能很快就会达到人类认知速度过快的速度。人工智能增强系统对于任何以“机器速度”进行的进攻或防御行动都是必不可少的，包括网络战或自动化武器系统。 ^[45]

鉴于早期预警系统在 NC3 中的重要性、它们现代化的可能性以及这样做的重要原因，ML 与早期预警系统集成是可行的，甚至有可能。

3.4 对即将使用核武器的预测

曾经是科幻小说的领域，现在有关于在指挥和控制中使用机器学习以在核威胁发生之前检测它们的讨论。这可能涉及 ML 系统分析相关因素，如部队调动、补给线、通信和其他情报，以计算核威胁不仅可能而且可能来自何处。

一个主要的，如果有点基本的例子就是苏联对导致 Able Archer 83 事件的反应（有关事件的更多信息，请参见脚注）。^[46] 为了应对对美国首先打击苏联的担忧，“约 300 名特工 [被指派] 检查 292 项不同的指标——从核弹头的位置到将美国的‘建国文件’从展示中移走的努力在国家档案馆。” ^[47] 这些信息“随后被输入到一个原始的计算机系统中，该系统试图计算苏联是否应该发动战争以先发制人。” ^[48] 从理论上讲，人工智能可以以类似但更先进的方式预测未来的攻击。

这种技术的一个相对现代的例子是国防高级研究计划局 (DARPA) 的实时对抗情报和决策 (RAID) 机器学习算法“旨在预测对手的目标、动作，甚至可能的情绪”强迫未来五个小时。” ^[49] 作为决策者的支持工具，“这些系统的未来迭代可能能够识别风险（包括人类无法预见的风险），预测冲突何时何地爆发，并提供战略解决方案和替代方案，以及，最终规划出整个活动。” ^[50]

这不是预见未来的尝试，而是一种已经用于打击全球城市犯罪的“预测分析”。^[51] 这种技术可以在犯罪实际发生之前确定犯罪发生的地点。担负此职责的 AI 系统进行分析，发现相关性，然后从数据中得出结论并对未来行为做出复杂的统计预测，为该领域的专家提供决策支持和建议。^[52] 从基本意义上讲，这与现代图像分类器或系统从模式中学习的语言模型（由人类标签和奖励引导）没有太大区别。NC3 中的预测预测机器还将通过持续监控大量现实世界数据并计算它们对核威胁的重要性来寻找指示潜在威胁的模式。

准确预测和先发制人的核安全方法的战略价值是无价的。军事大国不会对核打击或类似的威胁性攻击做出反应和回应，而是会预测对手的行动，并为他们做好充分准备，阻碍或抑制他们，或者采取攻势。人工智能系统理论上可以提供最安全的方式来实现先发制人（一个已经有争议的概念），如果它们能够胜过人类同行，保持公正，并提供经过计算的警告或建议。此外，人工智能可以评估数据并以人类可能永远不会采用的方式汇集不同的情报。^[53]

当然，即使部署此类系统来协助战略决策，问题仍然是人类是否会单独或至少主要根据他们的建议采取行动。在斯德哥尔摩国际和平研究所 (SIPRI) 于 2020 年举办的一系列关于人工智能和核风险的研讨会上，“研讨会参与者发现很难相信一个拥有核武器的国家会发现这样一个系统足够可靠，可以启动预核- 仅基于其算法产生的信息的先发制人的核攻击。” ^[54] 与会者认为，各州可能会等待有形证据（例如早期预警系统检测）来确认 AI 结论。^[55]

我个人质疑这种对决策者可靠性的信心以及他们等待确认这种预测结果的能力。首先，危机形势不可预测，情绪高涨或其他系统失灵可能导致耐心低于想象。其次，人机关系可能会发展到对机器智能的信任度更高的程度，几乎是隐含的。最后，等待用于预警的系统确认人工智能的统计预测将完全否定最初部署它的原因。

军队可能或已经在进行核指挥和控制中的 ML 预测分析。即使 SIPRI 参与者认为决策者会不情愿地遵循 ML 的建议是正确的，但是在这种整合之后仍然有无数的风险需要解决。

4. 整合的内在危险

本节概述了将 ML 与核指挥相结合的风险。它解释了导致这些风险的促成因素，也解释了机制——如何以及什么可能出错并导致实际核使用或核使用风险显着增加。这里的每个问题本身都是一个问题，同时也经常与其他概述的问题一起工作，以放大无意中使用核武器的可能性。

在第 4.1 节中，我概述了人工智能系统中的技术缺陷，以及它们如何与核威慑和决策相互作用。在第 4.2 节中，我探讨了增加自动化如何改变人机关系，这将改变核威慑的决策过程。如前所述，围绕核武器的决策制定的 任何潜在变化都需要进行最严格的审查。

4.1 人工智能技术的技术缺陷

这里概述的问题是当前和近期 AI 面临的技术障碍。其中一些似乎可以解决，而另一些可能只是固有的且无法解决。尽管存在这些障碍，当前和即将到来的现代化意味着在这些问题仍然存在的情况下可能会出现一体化。“复杂性滋生事故”这句简单的格言与此相关。即使经过严格的测试，编码错误率通常在每 1000 行代码 0.1 到 0.5 个错误之间。^[56] 鉴于豪华汽车有大约 1 亿行代码，^[57] 可以想象，用于命令和控制的 AI 系统所需的代码量将是巨大的。错误是不可避免的。

核武器背景对于研究 AI 的技术缺陷也具有特定的意义。它是“安全关键”环境的最重要示例。失败的后果是最严重的，这需要对决策的制定方式以及使用哪些工具来帮助该过程进行最严格的审查。此外，下面概述的缺陷在危机时期可能会成为一个严重的问题。最有可能出现错误的时期是紧张局势加剧和危险言论的时期。最后，在危急情况下，人类可能只有非常有限的时间（如果有的话）来仔细检查人工智能提供的数据或建议。

4.1.1 对齐问题

AI 系统对齐或未对齐是 AI 部署面临的关键问题。虽然通常在通用人工智能 (AGI) 开发的背景下考虑，ML 专家努力设计甚至是现代 ML 系统，这些系统完全按照预期运行，而不会以意想不到和令人惊讶的方式出现哪怕是轻微的错误。

Anthropic 最近所做的工作建立在这一主张之上，当时他们发现“大型生成模型具有高度可预测性的不寻常组合 - 模型能力规模与训练消耗的资源有关 - 以及高度不可预测性 - 特定模型能力，输入和输出可以'无法提前预测。” ^[58] 重要的是要认识到，一般来说，技术缺陷的影响不会导致机器损坏或无法工作。相反，机器完全按照指示进行操作，而不是按照程序员的要求进行操作。布赖恩·克里斯蒂安有效地说明了“对齐问题”，他描述了那些在“巫师学徒“的位置上使用人工智能系统的人：我们召唤出一种力量，自主但完全顺从，给它一组指令，然后像疯了一样争抢一旦我们意识到我们的指示不准确或不完整，就停止它。” ^[59]

以下问题属于更大的错位问题或促成它。这些特定的技术缺陷可能导致部署最终错位的系统。

4.1.2 “黑匣子”问题

这可能是核指挥一体化背景下最核心的问题，因为它会产生自己的问题，同时也会放大其他技术问题。“黑匣子”指的是 ML 系统“在其功能上是不透明的，这使得它们具有潜在的不可预测性和易受攻击性”。^[60] 这些系统有些不可知，因为“神经网络本质上是自我编程的……它们经常学习人类无法完全理解的神秘规则。” ^[61] 我们可以测试他们的输出，但我们真的不知道他们为什么或如何得出结论。据我们所知，该系统是错位的，要么错误地使用数据，要么完全测量错误的数据。由于我们不了解系统的内部运作，它的行为可能看起来很奇怪，完全出乎意料，几乎是陌生的。可靠性是核决策的关键。

OpenAI 在 2016 年的一篇文章中讨论了此问题后果的一个示例，该文章描述了他们使用 CoastRunner 游戏进行新的强化学习 (RL) 实验的努力。该团队训练 AI 以获得每个级别的最高分，假设这个具体目标将反映他们让 AI 完成比赛的非正式目标。然而，RL 智能体确定它可以通过简单地绕圈并不断撞倒相同的三个目标来更有效地获得高分 - 如CoastRunners 7视频所示。^[62] 尽管着火、撞船和走错方向，人工智能的得分仍比人类玩家高出 20%。这完美地说明了黑匣子问题：我们无法完全预测它的行为，也无法预见或控制它对我们目标的解释。虽然这在视频游戏中是无害的，但在核环境中可能是灾难性的。

“黑匣子”问题已被美国国防部 (DoD) 认定为“AI 的黑暗秘密核心”，它已成为 ML 系统在军事上使用的重大障碍。^[63] 这种先天的不透明性在短时间内的安全关键情况下尤其成问题，例如核危机。危机本质上是不可预测的：“测试对于建立对自主系统在现实世界环境中的行为方式的信心至关重要，但再多的测试也无法完全消除意外行为的可能性。” ^[64] 值得注意的是，“有一些活跃的研究，通常被称为‘可解释的人工智能’或‘可解释性’，以更好地理解机器学习系统的底层逻辑。” ^[65] 然而，此时“黑匣子问题”仍然存在并且可能是 ML 系统固有的，因此无法“解决”。

最重要的是，“黑匣子”使得解决人工智能系统的其他技术缺陷变得更加困难。确定和解决人工智能系统“缺陷”的需要似乎与这些问题的不可知性背道而驰。技术问题很可能会一直处于休眠状态，直到系统已经在运行时才被触发。

4.1.3 脆性

面对复杂的操作环境，机器学习系统往往会遇到自身的脆弱性——强大的智能程序往往会因数据输入的轻微调整或偏差而降低性能，而这些数据输入未经训练无法理解。^[66] 在技术方面，这被称为“分配转变”，其中 ML 系统可以“做出错误的决定——尤其是无声和不可预测的错误决定——当它们的输入与训练期间使用的输入非常不同时。” ^[67]

在一个案例中，尽管实验室的成功率很高，但加州的研究生发现，当他们只在屏幕上添加一两个随机像素时，他们训练的能够持续击败 Atari 视频游戏的 AI 系统就会崩溃。^[68] 在另一种情况下，培训师能够通过简单地旋转图像中的对象来甩掉一些最好的 AI 图像分类器。^[69] 在不断变化的现实环境中考虑人工智能就业时，这是一个不可接受的问题。与人类操作员不同，自主 ML 系统“缺乏超越其指令并运用‘常识’来适应手头情况的能力”。^[70]

下图说明了对手可以通过简单地向图片添加像素（人类不可见）来混淆图像分类器是多么容易，这会在表明证据置信度的同时极大地改变 AI 的解释。

虽然本报告并不关注故意欺骗 ML 系统的尝试，但这种欺骗的容易程度有效地证明了脆弱性的概念和严重性。

事实上，与脆弱性作斗争的 ML 系统毫无准备，也不适合在实验室外运行，更不用说在军事环境中了。战争是一种非典型情况——虽然我们可以花费大量时间进行训练和准备，但“战争迷雾”总会导致意想不到的发展和惊喜。ML 系统可能很难适应新情况，即使可能，花时间“适应”也可能会导致严重的成本。^[71] 他们将遵守极端标准，因为在军事环境中对准确性和安全性的需求是无与伦比的。这在对安全至关重要的核安保中更为重要。我们可以想象脆弱的 AI 系统无法在核安全环境中提供准确信息，或者更糟的是，以高可信度提供不准确的信息，导致信任人类操作员做出不合理的决定和行动。

数据集不足加剧了这种脆弱性，导致系统更加不可靠。^[72] 这在核安全领域尤其如此，其中模拟了如此多的训练数据^[73] 尽管有与旧弹道导弹发射相关的大量记录，但较新的、测试较少的模型需要使用模拟。^[74] 缺乏现实世界进攻性核使用方面的数据对世界来说无疑是幸运的，但这仍然意味着用于 NC3 系统训练机器学习程序的大部分数据将被人工模拟。即使是真实世界的数据通常也不足以为真实世界环境训练 ML 系统，因此对模拟数据的训练使系统严重无法为部署在军事操作环境中做好准备。尽管已尽最大努力确保模拟数据的准确性和稳健性，但它始终是对世界事件的不完美、短视的模仿。因此，当 ML 系统遇到哪怕是前所未有的真实世界数据时，它可能就足以让它偏离轨道，无论是否有人注意到。

看 AlphaGoZero 下围棋被描述为“看外星人、高等生物、未来生物或上帝下棋”。^[75] 该程序与人类玩家有着相同的目标，但它实现目标的方式——实现目标所采取的行动——可能“几乎无法理解”。^[76] AI 系统不是人类，这似乎很明显，但其内在的非人性比它最初看起来更重要，永远不应被遗忘、低估或忽视。这与前面概述的“黑匣子”问题有关。我们并不真正知道 AI 如何或为何做它所做的事情。我们可以看到它的输出，但它的原因或理由仍然是个谜，永远不应该完全信任。

这个信任 ML 系统输出的问题更进一步是因为这些系统可以对他们的输出充满信心，即使它们是错误的。给狗分类器一张猫的照片，它会以 99% 的置信度告诉你这是一只柯基犬。系统不仅可能是错误的，而且在高度自信地告诉您它们是正确的同时它们也可能是错误的。这在很大程度上源于脆弱性问题，因为遇到无法识别的数据通常会导致 ML 系统在尝试在它确实理解的边界内对数据进行分类时产生误解。因此，不仅很难确定 ML 系统何时未按预期工作，而且它们的信心程度可能会导致对机器的不必要信任。

早期预警或预测预测中的人工智能系统将面临巨大而复杂的任务。这些机器非常脆弱，很有可能在实验室环境之外无法达到预期的性能。

4.1.4 机器中的人为偏见

支持 ML 系统与核指挥和控制的潜在整合的主要论点之一是，决策过程将从消除人为错误和偏见中受益。然而，具有讽刺意味的是，人工智能系统本身是在存在人类偏见的情况下构建和训练的，这掩盖了它们自己的决策能力。^[77]

构成“客观”和自主 ML 系统基础的代码和算法是由人类编写的 - 编码员、开发人员、程序员、工程师 - 也是人类根据他们的兴趣和期望训练程序运行。无论善意如何，这些人无意中将人为偏见融入了他们的工作；这是不可避免的。此外，人工智能在使用历史数据进行训练时会变得更加有偏见，这是其环境的产物。例如：“旨在帮助进行犯罪风险评估的机器学习算法……[正在学习]历史数据中的种族偏见，这反映了美国刑事司法系统中的种族偏见。” ^[78] 当一项“对识别犯罪累犯的常用工具的研究发现，该算法给黑人被告的风险评分比给白人被告的可能性高 45%”时，这一结论得到了加强。^[79]

另一个人为偏见的例子发生在亚马逊使用人工智能系统过滤潜在求职者的简历时。显然，该系统被发现对男性求职者有明显的偏见，这大概是因为它通过观察以前成功员工的简历中的理想模式进行训练，其中大多数是男性。^[80] 因此，人工智能确定性别是候选人成功的重要因素，并学会了对男性候选人给予更高的评价。这不仅反映了当时该行业男性主导的性质，而且使其长期存在。^[81]

这些例子说明，人类偏见可以通过人类和/或训练数据整合到人工智能系统中，然后被人工智能系统进一步根深蒂固和延续，直到它被检测到。因此，即使在 ML 系统准确解释质量、相关数据并克服脆弱性或其他技术问题的最佳情况下，它仍然可能由于受过训练的人类偏见而高估或低估正在评估的信息。

人们可以很容易地想象类似的问题发生在人工智能系统中，这些系统经过训练可以观察敌对国家的行动，以进行预警或预测。人为偏见可能会潜入系统，与某些参与者或变量相关的数据可能无法准确反映现实世界中发生的事情。在那种情况下，可以对标准活动给予额外的权重，使相对正常的动作显得具有威胁性。这可能会导致 AI 发出潜在核攻击警告。美国总统和军事指挥官会期待平衡、公平的计算，但实际上机器正在延续这种可能导致灾难性误算并进一步增加误报风险的偏见。

在乌克兰当前持续的冲突等危机情况下，这些担忧变得更加重要。一个假设的 ML 集成系统旨在评估俄罗斯侵略西方的可能性，可能会以不可预测的方式行动并提供错误信息。前面提到的围绕脆弱性和“黑匣子”的问题可能会导致系统误解签名信息，例如部队移动、发射指示器、喋喋不休等。训练有素的偏见可能会加剧这种误解，高估俄罗斯侵略的可能性。例如，系统可以将某些言论或部队部署视为即将发生攻击的过于重要的指标。虽然我们希望即使在这些情况下，军事规划人员也会审查信息并犹豫是否采取行动，我不认为人们应该如此轻易地低估确认偏差或危机情景中的混乱和“战争迷雾”的力量。在紧急情况下提供的看似准确的信息很容易被采取行动。

4.2 人机交互问题

本节探讨更多自动化可能对机器-人类团队的人为因素产生的影响。这既涉及我们如何对待人工智能，也涉及使用此类智能机器对我们自己的思维过程意味着什么。

理解为什么没有发生某些事情本身就是一项艰巨的任务。确定为什么没有使用核武器是很困难的，无论是由于核禁忌等更规范的因素，还是与威慑等结构性现实主义相关的因素。自二战以来，很可能是多种因素的复杂组合促成了核武器的未使用。尽管如此，我认为一个关键因素是人类的不确定性和我们缺乏知识。我们如何做出决定很重要。

人类的局限性和情感，尽管存在种种危险，但似乎在防止使用核武器方面发挥了关键作用。在核层面上，潜在错误的后果是如此之大，以至于在关键时刻面临决策的个人往往选择冒着自己和团队的生命危险，而不是部署核武器，因为他们不相信似乎是即将到来的攻击。^[82] 这并不是贬低他们的勇气或训练，而是当面对看似可靠的核攻击信息时，这些人决定不采取行动，而其他人可能已经采取行动，在某些情况下几乎采取了行动。无论是直觉、推理、恐惧、内疚、恐慌，还是这些和其他非常人性反应的结合，他们质疑情况并抑制反应的决定可能挽救了数百万甚至数十亿人的生命。

从 1945 年到 2017 年，已经发生了“37 起不同的已知事件 [与近距离无意使用有关]，包括 25 起所谓的核危机和 12 起技术事故。” ^[83] 从表面上看，旨在防止核使用的系统似乎奏效了。甚至有人争辩说，“那些负责核武器的人是负责任的、审慎的、谨慎的……[并且]‘险些’实际上从‘不那么近’到‘非常远’不等。” ^{[84 ]} 虽然我不太愿意相信旨在防止无意使用的系统，但事实是自二战结束以来我们就没有使用过这些武器。运气可能在这里发挥作用，但多年来发生了太多“千钧一发”，我们无法完全忽视核决策系统。作为当前的决策者，我们必须做正确的事情。这种成功防止无意使用的部分原因是对计算机警告系统的明显不信任。在彼得罗夫和北美防空司令部的案例中，计算机对即将到来的攻击表现出了高度的信心，而人类操作员不相信这些误报。他们的怀疑是最重要的。无论在这场讨论中的立场如何，

上一节着眼于 ML 系统中的技术缺陷以及它们如何影响其输出的质量和可靠性，而本节着眼于提高自动化程度如何影响人为因素。这包括过度依赖 ML 系统、战争和人工智能系统的速度不断加快，以及在强大的机器智能支持下对军事指挥官的错误信心增长等问题。将概述每个问题，并探讨它们对核决策的可能影响。最终的结论是，将 ML 与 NC3 相结合可能会导致核决策的范式转变。

4.2.1 自动化偏差

一个关键问题是自动化偏差的发展——“人类过度依赖系统并认为系统提供的信息是正确的现象。” ^[85] 偏见也存在于另一个方向，对机器的过度不信任被称为“信任差距”。^[86]

Michael Horowitiz 认为对人工智能技术的信任分为三个阶段：

“技术炒作”，或“对特定技术将如何改变世界的夸大期望”
“信任差距”，“或者无法信任机器来完成人们的工作，以及不愿意部署或正确使用这些系统” ^[87]
“过度自信”或自动化偏见。

当“心理学家……证明人类很难相信从算法（例如，雷达数据和面部识别软件）中获得的信息时，人类逐渐经历这些阶段的说法得到了支持，但是随着信息可靠性的提高，人们倾向于对机器的信任度增加了——即使在出现证据表明机器的判断不正确的情况下也是如此。” ^[88]

自动化偏差“在多个领域都有记录，包括医疗决策支持系统、飞行模拟器、空中交通管制，甚至在射击相关任务中“做出友敌交战决策”。” ^[89] 鉴于前面概述的众多技术缺陷，可以想象过度依赖 ML 系统的问题。然而，“信任差距”也是有问题的，不应该被采纳为一种理想的立场。相反，应该强烈认识到人类倾向于相信机器，以至于认为它总是正确的或比人类对手更有能力。

在无意中使用核武器的情况下，在考虑将 ML 与 NC3 集成时，自动化偏差是一个实质性问题，因为它加剧了危机情景的时间紧缩和“黑匣子”问题。人类操作员将无法检查 AI 决策背后的数学原理，他们甚至没有时间尝试。此外，“因此，运营商可能会过度信任该系统，而认为没有必要验证其提供的信息。” ^[90] 这不仅增加了上述 ML 系统技术缺陷被忽视的可能性，而且还代表了对这些机器智能的有效预授权。自动化偏见，以及“在危机或冲突期间预先授权使用武力时对机器的毫无根据的信任和依赖，更不用说在核边缘政策期间，可能会无意中损害各国控制升级的能力。” ^[91]

在 2003 年伊拉克战争期间的爱国者自相残杀（或友军开火事件）中，预授权和自动化偏见最为明显。十二场成功的交战中有三场涉及手足相残。这包括“爱国者击落友军飞机并杀死飞行员的两起事件，以及一架 F-16 向爱国者开火的第三起事件。” ^[92] 在爱国者开火并造成自相残杀的情况下，人工智能引导的机器是错误的，并且在信任他们的过程中，他们的操作员屈服于自动化偏见。在这两种情况下，爱国者系统中的错误都可以追溯到脆弱性技术问题。首先，系统将友军战斗机错误识别为导弹^[93]，第二个实例涉及爱国者系统跟踪一枚不存在的来袭“幽灵”导弹。不幸的是，附近的一架友军战斗机在错误的时间出现在了错误的地点，爱国者的导引头锁定并杀死了飞行员。^[94]

最终，人工智能驱动的系统出错，人员死亡，这说明“当人类用户没有预料到这些脆弱时刻时，就会出现严重的问题”。^[95] 其中一个方面是确保自动化不会导致对 ML 增强系统的不当预授权。确保了解这些机器的故障和优势对于它们的安全使用至关重要。

4.2.2 机器速度

如前所述，提高军事系统自动化的一个关键潜在好处是它们可以以远远超过人类操作员的惊人速度执行指定的功能。这里的风险在于，这种处理速度的提高可能会将“战争速度推向‘机器速度’，因为自主系统可以比人类更快地处理信息和做出决策。” ^[96] 激进的反应和决定可能在纳秒内发生——在西方被称为“超级战争”，在中国被称为“战场奇点”。

托马斯·谢林 (Thomas Schelling) 在讨论机器速度和核决策时担心“仓促行事”是“和平将爆发为全面战争的最大危险来源”，这一点得到了回应。有人担心，为了保持战场优势，各国将在其军事行动中追求机器速度，并冒着失去对机器控制的风险，有效地将权力预先授权给他们的人工智能系统以代替他们采取行动。截至目前，这些系统脆弱且存在缺陷，缺乏批判性思考或跳出框框工作的能力。他们“被设置为根据他们在战场上看到的优势迅速采取行动”并且很容易“错过降级信号”，^[97] 与 RK Bett 的结论相呼应，即国家经常“因误解、误判和害怕如果不先出击就会失败而陷入[战争]”。^[98]

提高自动化程度并将机器学习系统与核指挥相结合，会将围绕机器速度的所有问题应用于核决策，影响和改变我们最重要的武器系统之一。令人生畏的是，现代战争的现实可能意味着为了维持一个有竞争力的威慑系统，可能有必要朝着这种仓促程度努力。其他现代发展 - 例如高超音速武器的出现或海上攻击的可能性 - 已经将核武器袭击时间缩短到几分钟。虽然即使在自动化世界中距离也很重要，^[99] 只有当以同样的速度做出反应是可行的时候，才能阻止闪电般的第一击。尽管如此，即使在我们当前的安全环境下不可避免地需要加快核威慑速度，我们也必须了解这些问题并制定解决方案或缓解过程以防止无意中使用核武器。

4.2.3 人在环外

机器速度是影响核决策的自动化的一个关键方面，但它通常通过影响决策循环中人工监督元素的位置来实现。如下图所示，“人类监督分为三种类型：人类可以在回路中，这意味着人类将做出最终决定；人可以在线，监督系统和正在生成的数据；或者人类可以脱离循环以获得完全的自主权。” ^[100]

主要问题是“以机器速度运行的 AI 系统可以将战斗的节奏推进到机器 [actor] 的行为超过人类决策者控制（甚至理解）的（认知和身体）能力的程度。事件。” ^[101] 一种解决 ML 系统缺陷的方法是确保人类操作员保持在环路内，并能够控制或阻止自动化军事系统以与其目标不一致的方式行事。然而，正如 Andreas Matthias 所解释的那样，“当机器比操作员具有信息优势时，任何有影响力的人为控制都是不可能的......[或]当机器由于其处理速度和大量的操作变量。” ^[102]

兰德公司 2020 年的一份报告探讨了以下问题：“人工智能和自主系统的扩散会如何影响威慑力？” 通过构建和试验兵棋推演来模拟如果自动化变得更加普遍，参与者将如何在冲突中做出决定。他们实验的一个关键见解是，“双方在配置人与机器决策以及有人与无人存在的方式上的差异可能会影响危机期间的升级动态。” ^[103] 下图表明升级受机器或人做出决定的影响。（RAND 报告还考虑了人类在冲突场景开始时保持身体存在的影响，但这超出了本报告的范围）。这里的一个关键要点是，当自动化机器是主要决策者时，升级更难控制或防止。^[104]

注意。转载自 Wong 等人的“思维机器时代的威慑”，兰德公司，2020 年 1 月 27 日，第 64 页。

人机作战和“组队”已逐步开展，其重要性和影响将随着在更多场景中的尝试而增加。人类从循环中移除的越远，我们就越依赖可能有缺陷的技术，这些技术不像人类那样做出决定。这可以成为一种力量，但正如已经讨论过的，它很容易变成一种危险。尽管如此，许多有影响力的人物仍然不反对将人为因素推得更远。NORAD 指挥官 Terrence J. O'Shaughnessy 将军表示，“我们必须远离的是……‘人在环路’，或者有时‘人就是环路’。” ^[105] 通过这样做，我们可以尝试利用自动化系统的速度和力量，同时在理论上仍然确保人手引导 ML 力量技术。无论我们如何管理人机关系中的这种变化，人类离循环越远，技术缺陷影响核决策的风险就越大。问题仍然存在；这些系统的不灵活性以及由此产生的升级潜力在什么时候会超过它们提供的速度优势？

在核指挥等复杂的安全关键环境中部署 ML 系统时，这种可能存在的可靠性差距是一个明显的问题。然而，这个几乎陌生的决定使问题进一步复杂化，因为人类普遍希望像对待人类一样服从这些机器。在这一领域所做的工作表明，“人类倾向于将分担任务导向责任的机器（即自动决策支持辅助工具）视为‘团队成员’，并且在许多情况下表现出与人类类似的群体内偏爱。其他。” ^[106] 事实上，James Johnson 的工作表明，让人类参与循环并不会限制 ML 系统的脆弱性或缺陷，而是会“导致类似的心理效应，就像人类与其他人分担责任时发生的那样，从而‘[[社会懒散] ]'出现了——人类在团队中冗余工作时比他们单独完成一项任务时更倾向于寻找减少自己努力的方法。” ^[107]

最后，无论多么强大和有用，ML 增强系统的决策过程都可能导致意外的偏差或失调的情况。尽管机器学习系统本质上是不人道的，但人类倾向于将 ML 系统视为同事而不是工具，并期望他们做出类似人类的一致反应。

4.2.4 错置的信心

类似于自动化偏见，或者至少是其结果，当一个看起来优越且能够提供军事优势的系统可以在军事领导人中产生一种鼓励他们采取积极、冒险或激烈行动的信心时，就会发生错位的信心。这也与核决策中不确定性的重要性有关。^[108]

一个自认为拥有完美信息和机器速度优势的狂热指挥官，如果他们认为需求足够大或报复的机会足够低，认为人工智能系统的力量将保证成功的行动，他们可能会采取积极的行动。这个问题是双重的；过度自信不仅会增加总体上采取攻击性行动的可能性，而且还会使指挥官更容易受到自动化偏见的影响。两者本质上都会升级，并增加无意中使用核武器的风险。这种“过度自信，AI 系统预测升级和衡量意图的能力——以及更广泛地阻止和反击威胁——导致或加剧的自动化偏见可能会鼓励一个国家（尤其是在信息不对称的情况下）考虑好战或挑衅行为；否则它可能会认为风险太大”。^[109]

5. 潜在解决方案分析

以下部分介绍旨在解决本报告中概述的问题的解决方案。它们不一定是一体化问题所特有的，也不是本报告中首次提出的。尽管如此，这里还是通过核战略和 ML 技术的结合镜头对它们进行了评估。在这样做的过程中，我的目的是通过添加我对什么最有效以及资助者如何使用此评估来帮助他们进行核或近期 AI 风险降低工作的想法来继续讨论。

总的来说，我发现 5.1 中的前两种可能性并不令人满意，因为它们没有考虑到人工智能集成对核安全的技术和心理问题的广泛影响。5.2 中的三个解决方案更有可能成功，因为它们考虑到我们可能无法修复当前 AI 技术中的技术缺陷这一事实。他们要么寻求权宜之计以防止无意中使用，要么试图解决问题的心理方面。在这样做的过程中，他们与我们可以控制的因素一起工作：政策和人员。在 5.3 中，我提出了让人类参与循环的复杂解决方案，虽然追求这一过程很有影响力，但它本身无法解决此处概述的问题。

5.1 不满意的解决方案

5.1.1 完全不要将 AI 与核司令部整合

虽然此解决方案将对防止因 ML 集成而导致的无意使用产生很大影响，但由于使用 NC3 提高自动化的压力，它不易处理。

目前，没有任何国家或行为者提倡完全自主的核武器系统，其中人为因素完全处于循环之外。这很重要，更多的州应该效仿英国和美国的例子，在官方战略文件中公开承诺这一点。尽管如此，诱惑可能仍然存在，“对于那些对其核武库感到相对不安全的国家来说，[完全自动化]在威慑能力方面的潜在好处可能大于风险。” ^[110]

然而，完全不将 AI 集成到 NC3 的任何阶段都不是一个现实的选择。正如现代化部分所述，美国政府极有可能已经在某些阶段追求某种程度的 AI 集成，从而使该建议变得无关紧要。此外，在某些阶段集成确实有好处，至少应该对此进行探索。改进一个人的早期预警系统，如果做得好，可以帮助减轻核武器在裁军道路上面临的危险。

除了提供更好的分析外，人工智能集成还有助于确保核指挥中的稳健通信，从而有助于减少危机期间的不确定性。^[111] 此外，AI 运行网络安全可以帮助保护与威慑相关的关键系统^[112] 这些武器越安全、越不易损坏，国家可能需要的侵略性就越小。这也是基于潜艇的核武器经常被吹捧为当前威慑的顶峰的原因。他们无法被发现，因此可以可靠地确保第二次打击。因此，由于他们的威慑作用，人们通常可以更加自信地采取行动，减少侵略性。AI 运行的网络安全有望做同样的事情，并且老实说，面对 AI 运行的攻击性网络行动可能只是需要。鉴于安全环境，不追求人工智能集成可能会导致不平衡或不对称的环境，这本身会助长核危机或增加核使用风险的胁迫。

批评看似不可避免的政策仍有很多价值。出于多种原因，倡导消除核发射井和内陆核武器可能很困难，但研究人员和活动家不一定要停下来。提倡将 ML 零集成到 NC3 也可以这样说。尽管如此，我个人并不建议资助者尝试将每一美元支出的影响最大化。

5.1.2 改进人工智能消除技术问题

尝试“让它变得更好”可能最终会解决一些技术问题，但完美的系统永远不会存在。虽然解决关键技术问题会产生很大程度的影响，而且许多 AI 研究人员正在探索这条路线，但这似乎是一个不太可能的成就。这本身并不是失败。人类也不是完美的，但脆弱性或训练有素的 AI 偏见等问题尤其危险，因为他们可能会在没有警告的情况下突然抬起头来，而且由于“黑匣子”问题，我们可能无法例行检查这些问题，我们也不会总能为他们测试。

“正常事故理论”“表明：随着系统复杂性的增加，事故风险也会增加，并且在复杂系统中不可避免地会发生某种程度的事故。” ^[113] 因此，包含自主权的复杂防御系统发生事故的风险可能因此更高。” ^[114] 现实情况是“即使模拟测试了数百万个场景，完全测试一个复杂的自治系统可能遇到的所有可能场景实际上是不可能的。系统与其环境之间，甚至在系统本身内部，存在太多可能的交互。” ^[115]

此外，即使我们实施了旨在阻止事故发生的安全功能，也往往正是这些功能导致了致命的错误和事故。最近的两个例子包括 2018 年 10 月 29 日的 Lion Air 610 航班和 2019 年 3 月 10 日的埃塞俄比亚航空公司 302 航班。有一个安全功能导致飞机坠毁。^[116] 关键在于，在复杂的系统中，事故不仅是正常的且难以预防，而且即使试图与事故作斗争也可能导致事故本身。

也许数学可以证明人类比 AI 更容易发生灾难性的失败（即使 AI 很脆弱或错位）。尽管如此，当结合人机关系中形成的问题时，由于隐含地相信人工智能系统在客观上优于其人类同行，人工智能集成的危险可能未被诊断出来。如果自动化程度提高，并且更多的核决策被预先委托给机器系统，那么这些问题将会增加，并有可能在这个安全关键环境中被无意使用。

此外，人为的不确定性以及同事和上级的监督和控制可以减轻人为失败的后果。纵观我们的整个历史，人类一起工作。从人类转向人工智能是决策和安全文化的明显范式转变，极大地改变了我们对危机问题的反应和方法。

这并不是在 NC3 中完全拒绝 ML，而是声称我们不能依靠技术改进来消除事故的可能性。

5.2 潜在有益的解决方案

5.2.1 更新核态势以反映不断变化的范式

缓解 NC3 中 ML 挑战的最大障碍之一是，上述技术问题可能在短期内根本无法解决。从非技术角度解决这个问题可能会让我们通过减轻危险而不必解决这些技术问题来绕过 ML 系统内在的技术缺陷。具体来说，可以重组策略以减轻 ML 与 NC3 集成的潜在问题。

尽管可以开发技术解决方案来减轻这些限制的影响，但人工智能机器的绝对复杂性以及将它们与军事系统集成的压力意味着这些技术问题所带来的问题现在必须得到解决。各国尽快开始采用该技术的强烈动机意味着它们可能不得不接受并实施不完善的系统，使其在核指挥中发挥关键作用。然而，归根结底，真正的问题不是人工智能本身，而是人工智能与核系统的匆忙整合，没有充分考虑到当前人工智能技术的技术局限性和核安全的复杂性所带来的更高风险.

一种解决方案是采取核政策，延长发射核武器的决策时间，例如放弃预警发射 (LOW) 战略或解除井基洲际弹道导弹的待命状态。低策略使导弹保持警惕并随时准备发射，以便它们可以在来袭攻击的第一次影响之前发射。通过合法地增加准备使用核武器的适当时间，这些类型的政策将使领导人有更多机会评估人工智能提供的核安全相关信息。从某种意义上说，这会强制延长“循环”，因此无论闪电般快速的 AI 评估如何，

在我们甚至考虑它们对 ML 与核命令集成的影响之前，改变核态势以增加决策时间或摆脱 LOW 策略将带来降低核风险的先天优势。LOW 的风险可分为两类：做出决策的巨大压力，以及用于决策的信息质量经常受到质疑。正如许多近距离使用核武器的案例所表明的那样，LOW 已经是一个危险的前景，其在影响发生前做出反应的情况允许无意使用和灾难的可能性。摆脱低姿态的想法并不是一个新想法，但在考虑与 ML 与核指挥系统集成相关的潜在危险时，它变得更加重要。

最终，如果操作不当，将 ML 集成到核指挥中将成为一个复合因素或威胁倍增器，以防无意中使用。一方面，一个有效的 ML 系统可以比我们当前的系统更快地提供更好的信息。这将挽救无意使用的机会，并可能增加决策者必须确定他们是否会做出反应或这是否是误报的时间。这有助于降低与 LOW 策略相关的风险。然而，尽管可能，这些好处依赖于一些关于极其复杂的系统在巨大压力下工作的能力的假设。

在考虑 ML 系统对降低核风险的帮助时，本报告中概述的风险应该让人停下来。这并不是说它们在降低风险方面没有一席之地——相反，在寻求降低核风险的过程中，应该寻求安全人工智能集成的适当平衡。尽管如此，在管理低核理论不可或缺的系统内增加自动化意味着可能成为本文件中概述的各种技术和人机关系问题的牺牲品。虽然我们或许能够通过技术或培训手段解决其中一些问题，但改变政策以使其几乎不可能在几分钟内发射核武器可以有效消除与 ML 集成相关的最大风险。虽然不慎使用的危险仍然存在，但这种姿势的转变将大大减少这种危险。尽管如此，应该指出的是，由于国内政治压力很大，要求维持洲际弹道导弹和其他更静态的核力量，因此不太可能放弃预警发射。

另一种解决方案是承诺在和平与稳定时期远离 LOW。最初由 Podvig 提出，这个想法鼓励核武器国家“引入一项政策，让他们的部队在大部分时间都处于非戒备状态”。^[117] 这将有助于减少和平时期误判的可能性。虽然在稳定时期升级的可能性不像在危机情况下那么大，但 Barrett、Baum 和 Hostetler 证明，所有误报案例中有一半发生在低紧张时期。^[118] 总体而言，危机仍然更加危险，因为与低张力时期相比，所有误报和无意使用场景中有一半发生在相对较短的时间内。尽管如此，这种方法将有效地结束和平时期的无意使用风险，并提出一种可能的建立信任措施，该措施可以通过非正式和更有条理的对话来帮助提高危机的稳定性。此外，这将表明人们普遍渴望安全和稳定，并且普遍缺乏对使用这些武器进行第一次打击的兴趣。

然而，即使在最好的环境中，改变核学说也绝非易事。鉴于目前乌克兰的战争和台湾紧张局势的升级，此时倡导改变学说可能比以往任何时候都更加困难。成功更新姿态可以有效地消除无意使用的风险，但在当前的国际安全气候下，这种做法的可处理性非常低。

5.2.2 更新并确保足够的培训

我们如何培训人为因素对于确保人机团队的安全整合至关重要。该建议涵盖所有人员组成部分的培训，无论他们在决策制定或支持过程中扮演什么角色。

矛盾的是，机器越自主，参与其中的人就越需要培训。这种培训需要反映功能以及机器与人的关系以及技术中的固有缺陷。^[119] 为了在核决策中保持“人为不确定性”的好处，培训应该在其人类操作员中嵌入对军事化人工智能的健康程度的怀疑。如果做得好，这种平衡的培训将通过强调 ML 集成的潜在好处和风险来避免产生“信任差距”或自动化偏见。

了解人工智能存在缺陷后，也许下一场危机将反映出 1980 年代的那场危机，当时斯坦尼斯拉夫·彼得罗夫 (Stanislav Petrov) 怀疑预警系统以最高的信心告诉他美国即将发动核攻击。^[120] 彼得罗夫的不确定性挽救了局面。相反，2003 年杀死友机的爱国者系统的操作员被发现具有“毫无疑问地信任系统”的文化。^[121] 为了正确管理强大的 ML 系统的缺陷，人们需要接受培训以了解“系统的边界——它能做什么和不能做什么。用户可以引导系统远离其设计范围之外的情况，或者有意识地承担并接受失败的风险。” ^[122] 彼得罗夫案和爱国者自相残杀案都概述了在培训自动化军事系统操作员时灌输适当的信心和怀疑态度的重要性。

一个不同但相关的想法是创建组织和官僚解决方案来解决军事化 AI 的技术问题。SUBSAFE 计划是“贯穿潜艇整个生命周期的持续质量保证和质量控制过程”。^[123] 从 1915 年到 1963 年，美国平均每三年因非战斗损失损失一艘潜艇；自该计划于 1963 年设立以来，没有一艘通过 SUBSAFE 认证的潜艇丢失。^[124] 考虑到现代潜艇日益复杂及其运行环境，这更令人印象深刻。这似乎抵消了正常事故理论。

也许这种安全文化可以作为处理军事化 AI 系统的模型。根据 Paul Scharre 的说法，这些经验教训已经应用到海军宙斯盾作战系统的操作中，该系统不受人类操作员的信任。^[125] 他们明白“自动化很强大，他们尊重它——他们甚至认识到它有一席之地——但这并不意味着他们将人为决策交给机器。” ^[126] SUBSAFE 计划和现代宙斯盾系统的教导是我们如何在 ML 与 NC3 集成的任何情况下灌输健康怀疑的关键示例。人们可以尊重自动化军事技术的力量和缺陷。

该建议将产生低到中等影响，因为训练的地点和方式非常重要，并且仍然会发生错误，但由于军方有既得利益并希望确保其操作员接受任何相关培训，因此它很容易处理。

5.2.3 建立信任措施

建立信任措施 (CBM) 可以围绕适当的 AI 集成制定国际规范，并减少国家之间在可接受的 AI 军事使用方面的不确定性。

CBM 可以从单方面声明开始，即核发射决定将始终由人类控制。如果这些 CBM 符合他们的战略利益，第一步可能会带来其他权力，并可能导致类似的声明。英国政府已经在其 2022 年 6 月的国防人工智能战略中做出了这一声明。^[127] 此外，美国政府最近在其 2022 年国防战略中也效仿了这一做法。^[128] 虽然我们无法知道这一声明的确切含义，但这种行动有利于减少紧张局势和不确定性。

更进一步，关于 AI 与 NC3 集成的国际对话将建立信心，并允许各国分享共同关注的问题并确定公认的最佳实践。最近研究通过国际措施和规范控制军事化人工智能的可行性的工作发现“虽然过去遏制和控制核武器的战略不能也不应该被视为蓝图，但这些历史教训对于设计任何未来负责任地遏制军事努力的人工智能仍然至关重要。” ^[129]

《反弹道导弹 (ABM) 条约》是降级 CBM 的一个重要例子，它让两个冷战大国都表明了他们维护稳定的承诺。通过同意限制导弹防御系统的发展，双方都表示规避相互保证毁灭 (MAD) 甚至赢得核战争都太不稳定和危险了。虽然敌对国家可能经常觉得有必要不断怀疑和害怕彼此的意图和行动，但这些 CBM 有助于突破“安全困境”，减少国家之间关于人工智能军事用途的不确定性，并减轻围绕决策的众所周知的“噪音”——制造。

国家自然会限制他们可以分享多少关于他们的 ML 开发，以防止对手利用这些信息来操纵或攻击系统。尽管如此，应该探索这种合作努力，以在国家之间建立一定程度的信任，并允许政府内外的专家确定和传播最佳安全实践。

建立信任措施的影响评估起来很复杂；各项措施的影响千差万别。然而，即使是低影响措施对于降低无意中使用核武器的风险也很重要。降低紧张局势和减少不确定性是改变姿态或防止 AI 安全竞争的先决条件。由于国际环境的变化，这一点的易处理性再次发生变化，但由于围绕乌克兰战争的高度紧张，目前不太可能达成任何多边协议。相反，这也可能是低成本煤层气的易处理性上升的时候，因为迫切需要缓和俄罗斯和美国之间的紧张局势虽然乌克兰战争无疑使合作变得困难，我们还可以看到各国通过高级别外交谈判制定低成本的建立信任措施，旨在缓解围绕核武器的紧张局势，作为可能恢复表面正常状态的第一步。综上所述，CBM 的易处理性变化多端。

5.3 复杂的人类在环解决方案

虽然让人类始终处于循环中最终是有用的，并且在某种程度上仍然需要人类监督，但这种控制和限制自动化的方法存在多个问题。首先，在竞争激烈的场景中，机器速度将有效地将人类排除在外。高超音速武器、网络战和其他新技术提高了现代战争的速度，可能只需要赋予自主系统预先授权的权力，使其在没有有意义的人类监督的情况下采取行动。要求这些系统始终有一个人在回路中将有效地否定使用它们的首要原因。当然，可以说这是完全可以接受的，我们不应该为了与据称与我们的军事对手保持平等而竞相追逐人工智能安全的底部并冒着核灾难的风险。

其次，让人员参与并不能解决“黑匣子”问题。当我们不知道 ML 系统为什么做出选择时，有意义的人为控制就会被否定。虽然可以评估结果，并且在许多情况下这可能就足够了，但不知道 ML 系统是否真的按预期工作会让我们面临不可预测的 ML 结果。人类操作员可能能够控制明显错误的结果，但脆弱性可能导致以高置信度提出的不正确评估，这些评估可能在危机期间发生灾难之前无法被发现。

最后，自动化偏见可以使人为因素变得无关紧要。如果出现偏差，倾向于服从机器智能的处于循环中的人本质上就不太可能很好地检查其行为。因此，由于这里列出的问题，不能说让人类参与其中来防止风险增加。

然而，尽管这不是本报告中概述的问题的最终答案，但仍然值得尝试通过在决策循环中的某个位置保留人类的位置来维持人类对人工智能驱动的核 C3 的控制。然而，根据具体情况，人类可能需要进入、开启甚至脱离循环，因此虽然这种方法值得尊重，但让人类处于循环中并不是最终的万能解决方案。

6. 潜在的融资途径

这个主题的早期和相对未充分探索的性质意味着围绕扩大文献和研究存在大量资金机会，同时也在寻找提高这些想法的实证强度的方法。

6.1 兵棋推演资金

资助兵棋推演的创建、使用和研究，这些兵棋推演旨在使用各种形式的人工智能决策支持来展示核决策
- 兵棋推演可以为机器学习如何影响核威慑和/或核决策制定的讨论添加一种形式的经验证据
- 资金可用于创建游戏、执行游戏并根据结果进行深入研究。
兵棋推演的使用可以帮助解决上面列出的两个令人满意的解决方案。
- 在考虑如何将自动化与 NC3 集成时，它可以提供证据和洞察缺乏核和战略条令的领域。虽然兵棋推演显然受到游戏媒介的限制，但它可以展示人类和机器如何在危机中互动。
- 除了对政策和学说的影响外，对人类参与者及其行为的观察也有助于确定在何处以及如何改进培训。自动化偏见的明显例子或预先授权给机器智能存在问题的情况可以在现实世界的情况下告知人类操作员。
此外，虽然让人类处于循环中可能被批评为解决集成问题的不成功解决方案，但兵棋推演可以确定人类应该或必须在何时何地留在自动化系统循环中的最佳实践。
- 我对环内解决方案的批评是基于这样一个事实，即对机器速度的感知需求以及人们想要自动化的全部原因可能会将人类赶出环路。因此，试图始终让人类在 ML 集成系统中扮演最终调用的角色可能根本不可行，因此无法单独解决此处概述的问题。然而，在可能或需要时确保人工监督对于安全使用 ML 系统仍然至关重要。考虑到这一点，兵棋推演可以确定我们必须在哪些方面努力维持人为控制或最终决定权，以及人为控制在哪些方面可能不利于稳定。
兰德公司 2020 年的一份报告探讨了这个问题；“人工智能和自主系统的扩散会如何影响威慑力？” 他们通过构建和试验兵棋来模拟如果自动化变得更加普遍，参与者将如何在冲突中做出决定。
- 在关注军事化 AI 的不同方面时，他们的见解在研究复杂的军事作战环境、机器与人的关系以及 AI 如何影响威慑时无疑是有价值的。
- 他们有效地将经验证据添加到一个分类的、本质上有些投机的主题中。
- 关于无意使用主题的一个非常重要的收获是，在他们的兵棋推演中，“美国和日本的玩家将他们的防空系统设置为完全自主……然而，当朝鲜意外地向日本发射导弹时，系统中的人工智能不仅击落了导弹，还发射了击中朝鲜的反炮火。” ^[130] 两名球员都没有打算袭击朝鲜，但冲突的机器速度导致他们在阻止它发生之前无意中使用了侵略。
- 目前模拟 ML 系统将如何影响威慑或 NC3 的努力非常有限，这里的资金可以提供强有力的经验证据和洞察力，了解在拥有强大的军事化机器智能的世界中核威慑的未来会是什么样子。
核威胁倡议创建了兵棋/桌面演习：“加强全球系统以预防和应对高后果生物威胁”。
- 它旨在提供对后果严重的生物事件的洞察力，并确定我们如何更好地提高预防和应对能力。
- 虽然不像兰德兵棋推演那样与这份报告直接相关，但这些演习旨在探索本质上很罕见的危机。然而，尽管它们很罕见，但未能驾驭它们可能会导致巨大的痛苦甚至全球灾难性风险。
我认识到兵棋推演的固有局限性，并谨慎对待任何有利于它们的偏见。
- 顾名思义，它们是游戏，而不是真实世界的纯粹反映。规则和结构旨在提供准确的模拟，但总会有缺陷和失败。一个关键是，在兵棋推演中，兰德推演的参与者往往过于激进，这可能是由于推演的人为性质。^[131]
尽管如此，我相信兵棋推演对于为危机事件做准备非常有用。我们无法预知未来，但我们可以为之做好准备。
- 虽然我们总是可以回顾过去的现实世界事件以进行指导和分析，但我们未来可能面临的情况可能无法用以前发生的事情来恰当地代表。因此，在进行分析和研究的同时，努力了解这些事件将如何展开对于规划者来说无疑是一个有用的工具。
为此，由于兵棋推演的缺陷，为 ML 与核指挥整合的兵棋推演提供资金变得更加重要。没有一款游戏会是对这种危机的完美探索。因此，需要进行广泛的兵棋推演和分析，以确保综合考虑后，我们能够准确描绘出这种近期风险。

6.2 针对有影响力的智库提供资金

为智库提供有针对性的资助可以促进该领域的多样化研究。我建议关注那些经常与核武装国家的国防和政策机构一起工作的智库。
- 可以通过资助有关 AI 对 NC3 的影响的研究来发现对这个问题的影响。
- 通过针对美国、英国、法国等国的特定智库，可以影响决策者和依赖这些机构研究的其他关键人物。
  - 虽然远非详尽的清单，但以下一些智囊团和研究小组可能是有影响力的候选人：
    - 联合国裁军研究所
    - 斯德哥尔摩国际和平研究所
    - 兰德公司
    - 战略与国际研究中心
    - 核威胁倡议
  - 未来的工作应该尝试确定每个组织影响无意中使用核武器的风险的能力。虽然此时每个组织都可能有效地为减少核风险提供有限的资金^[132] ，但可能需要进行有效的影响评估。
虽然有针对性地资助可以确保每花费一美元产生最大的影响，但为这项研究提供更广泛的资助将确保对该主题进行广泛的思考。这包括：
- 资助批评政府、核武器和人工智能的研究人员。
- 为需要通过赠款和有偿机会提供跑道的早期职业人士提供资金，以长期发展他们在该领域的专业知识。

6.3 人工智能治理和 CBM 的资金

为考虑到机器学习如果/当与 NC3 集成时可能产生的战略影响的 AI 治理工作和 CBM 提供资金。
- 国际上对自主武器的大部分关注都集中在“杀戮机器人”上
- 增加资金以促进国际合作和各国之间关于 ML 与其核指挥系统集成的声明性声明可以
  - 通过建立对话和消除一定程度的不确定性来降低风险
  - 帮助重新组织围绕自主武器的辩论，以考虑更“无聊”的风险线和 ML 可能产生的战略影响
这些措施可以采取多种形式：
- 来自不同州和私营部门的专家会议
  - Christian Ruhl 和 Founder Pledge 最近所做的工作探索了自主武器和军事化 AI，并概述了资助轨道 II 对话和研讨会如何减轻与自主武器和大国冲突相关的风险。^[133]
  - 这些非官方和非政府的努力可以绕过国家合作的障碍，并允许敌对双方的专家建立关系，分享观点，并将见解和最佳实践带回国内。
- 旨在创建和评估军备控制和人工智能的各种国际治理工作的研究。
  - 并非所有的治理都是平等的，个人的成功成就也不能直接应用于新问题。确定哪些 CBM 将对减轻人工智能与核指挥整合的风险产生最大影响，需要深入研究并在研讨会和会议上召集专家。
这笔资金的理想结果将是可以由各州签署和批准的新条约和其他具有法律约束力的文件。虽然资金不能直接用于这一级别的官方外交（轨道 l），但在幕后为专家和非官方会议提供资金可以为正式外交奠定核心知识基础。
- 在一些极端的例子中，例如禁止某些军事化 AI 使用的条约，即使没有关键的 AI 参与者，防扩散工作也可能被证明是有价值的。
  - 将军事化 AI 归类为与其他被禁武器相同的级别，再加上围绕核武器的防扩散努力，可能会影响人们对军队内部 ML 系统的看法，以及公众/国内观众如何理解 ML 在内部的潜在危险国家军队。

七、结论

在结束本报告时，我将简要介绍其核心思想和发现。ML 与 NC3 的集成有可能彻底改变我们的决策过程，并且由于核安全的安全关键要求，这需要审查。此外，从人类智能转向机器智能可能会消除自 1945 年以来帮助防止使用核武器的人性的关键方面。

为了解决这个问题，我们的目标应该是找到影响政策和参与核决策的人的解决方案，因为这个问题的技术方面可能无法在短期内解决。如果操作正确，通过 ML 集成提高 NC3 的自动化程度可以显着降低无意中使用核武器的可能性。但是，如果仓促实施并以不考虑 ML 可能对核安全产生的更广泛影响的方式实施，整合可能会增加以危险微妙的方式使用的风险，这种方式在灾难发生之前可能不会被注意到。因此，在这个问题还处于可塑的初期阶段时，现在就解决这个问题至关重要。

^{^}

Todd S Sechser、Neil Narang 和 Caitlin Talmadge。“和平时期、危机和战争中的新兴技术和战略稳定性”。战略研究杂志 42，没有。6（2019 年 9 月 19 日）：728，https ://doi.org/10.1080/01402390.2019.1626725 。
^{^}

Sechser、Narang 和 Talmadge，2019 年，729。
^{^}

同上。
^{^}

Paul Scharre，无人军团：自主武器和战争的未来。WW Norton & Company，2019 年，5。
^{^}

Kevin Drum，“科技世界：欢迎来到数字革命”。外交事务，2018 年 7 月/8 月，46。
^{^}

Page O Stoutland，“人工智能与美国核力量的现代化”。由 Vincent Boulanin 编辑。人工智能对战略稳定性和核风险的影响：第一卷欧洲-大西洋视角。斯德哥尔摩国际和平研究所，2019年。http://www.jstor.org/stable/resrep24525.13，64-65。
^{^}

安东尼·巴雷特 (Anthony Barrett)，“虚假警报，真正的危险？：美俄意外核战争的当前和未来风险”。加利福尼亚州圣莫尼卡：兰德公司，2016 年，第 10 页。
^{^}

同上。
^{^}

同上。
^{^}

GOV.UK. “国防人工智能战略”，2022 年，第 59 页。https://www.gov.uk/government/publications/defence-artificial-intelligence-strategy。; 美国国防部。'国防战略，2022 年，49，'https://media.defense.gov/2022/Oct/27/2003103845/-1/-1/1/2022-NATIONAL-DEFENSE-STRATEGY-NPR-MDR.PDF
^{^}

吉尔·赫鲁比和尼娜·米勒。“评估和管理人工智能在核武器系统中的好处和风险”。NTI, 2019, 5.
^{^}

Vincent Boulanin 等人，“人工智能、战略稳定性和核风险”，SIPRI，2020 年 6 月，p. 9.
^{^}

同上，3。
^{^}

IBM。“什么是机器学习？”，2020 年。https://www.ibm.com/cloud/learn/machine-learning。
^{^}

埃达·卡夫拉科格鲁。“AI vs. 机器学习 vs. 深度学习 vs. 神经网络：有什么区别？” IBM，2020 年。https://www.ibm.com/cloud/blog/ai-vs-machine-learning-vs-deep-learning-vs-neural-networks。
^{^}

Boulanin 等人，2020 年，11
^{^}

Philip Reiner Miller、Alexa Wehsener 和 M. Nina。“当机器学习进入核通信系统时”。C4ISRNet，2020 年 5 月 1 日。https : //www.c4isrnet.com/thought-leadership/2020/04/30/when-machine-learning-comes-to-nuclear-communication-systems/ 。
^{^}

Boulanin 等人，2020 年，第 13 页。
^{^}

Matthijs M. Maas 和 Matteucci、Kayla 和 Cooke, Di，军事人工智能作为全球灾难性风险的贡献者（2022 年 5 月 22 日），19，2020 年剑桥灾难性风险会议。
^{^}

Matthijs M. Maas、Matteucci 和 Cooke，2022 年，16。
^{^}

Stanislav Petrov, interviewed in Vasilyev, Yuri (2004), ‘On the Brink’, The Moscow News, 29 May, http://www.brightstarsound.com/world_hero/the_moscow_news.html.
^{^}

Patricia Lewis, Benoît Pelopidas, and Heather Williams. ‘Too Close for Comfort: Cases of Near Nuclear Use and Options for Policy’. Chatham House, 28 April 2014, 13.
^{^}

Ibid.
^{^}

Ibid.
^{^}

Ibid.
^{^}

James Johnson, ‘Delegating Strategic Decision-Making to Machines: Dr. Strangelove Redux?’, Journal of Strategic Studies 45, no. 3 (16 April 2022): 463, https://doi.org/10.1080/01402390.2020.1759038.
^{^}

Ibid., 453.
^{^}

Jon Harper, ‘Nuclear Command, Control, Comms Under Scrutiny’, Center For Strategic Deterrence Studies: News and Analysis, no. 1357 (2019): 7
^{^}

Johnson, ‘Delegating Strategic Decision-Making to Machines’, 452 ; James Johnson, ‘Rethinking Nuclear Deterrence in the Age of Artificial Intelligence’. Modern War Institute, 28 January 2021. https://mwi.usma.edu/rethinking-nuclear-deterrence-in-the-age-of-artificial-intelligence/.
^{^}

Michael Horowitz and Paul Scharre, ‘AI and International Stability: Risks and Confidence-Building Measures’, Technology & National Security (Center for a New American Security, 2021), 5, https://www.cnas.org/publications/reports/ai-and-international-stability-risks-and-confidence-building-measures.
^{^}

Maas, Matteucci, and Cooke, 2022, 23
^{^}

Michèle A Flournoy, Avril Haines, and Gabrielle Chefitz, ‘Building Trust through Testing: Adapting DOD’s Test & Evaluation, Validation & Verification (TEVV) Enterprise for Machine Learning Systems, Including Deep Learning Systems’ (WestExec Advisors, 2020), 5.
^{^}

Stoutland, 2019, 63; Boulanin et al, 2020, 22
^{^}

Philip Reiner and Alexa Wehsener, ‘The Real Value of Artificial Intelligence in Nuclear Command and Control’, War on the Rocks, 4 November 2019, https://warontherocks.com/2019/11/the-real-value-of-artificial-intelligence-in-nuclear-command-and-control/.
^{^}

Ibid.
^{^}

Yuna Huh Wong et al., ‘Deterrence in the Age of Thinking Machines’ (RAND Corporation, 27 January 2020), 4, https://www.rand.org/pubs/research_reports/RR2797.html.
^{^}

Michael C. Horowitz et al., ‘Policy Roundtable: Artificial Intelligence and International Security’, Texas National Security Review, 2020, https://tnsr.org/roundtable/policy-roundtable-artificial-intelligence-and-international-security/.
^{^}

Ibid.
^{^}

Arms Control Association, ‘U.S. Nuclear Modernization Programs, ’https://www.armscontrol.org/factsheets/USNuclearModernization
^{^}

Hruby and Miller, 2019, 15
^{^}

Ibid.
^{^}

Ibid.
^{^}

Stoutland 2019, 65.
^{^}

Ibid., 16.
^{^}

Johnson, ‘Delegating Strategic Decision-Making to Machines’, 441.
^{^}

Able Archer 83 was the annual NATO Able Archer exercise conducted in November 1983. The purpose was to simulate a period of escalation that ended in the US military reaching DEFCON 1 and simulated a coordinated nuclear attack. The realism of the exercise, combined with new lows in U.S-Soviet Relations, led Soviet leadership to believe that Able Archer was a ruse and a genuine preparation for a first-strike on the Soviet Union. This perceived aggression led to the Soviet Union preparing to use their nuclear forces and the U.S. had little to no idea that this was occuring. While this ended without incident, this is arguably one of the closet times we have come to nuclear use.
^{^}

Nate Jones and Peter J. Scoblic, ‘The Week the World Almost Ended’, Slate, 7 June 2017, https://slate.com/news-and-politics/2017/06/able-archer-almost-started-a-nuclear-war-with-russia-in-1983.html.
^{^}

Ibid.
^{^}

Johnson, ‘Delegating Strategic Decision-Making to Machines’, 453
^{^}

Ibid.
^{^}

Keith Dear, ‘Artificial Intelligence and Decision-Making’, The RUSI Journal 164, no. 5–6 (19 September 2019): 20, https://doi.org/10.1080/03071847.2019.1693801.
^{^}

Boulanin et al., 2020, 121
^{^}

Johnson, ‘Delegating Strategic Decision-Making to Machines’, 453.
^{^}

Boulanin et al., 2020, 121
^{^}

Ibid.
^{^}

Scharre 2019, 157
^{^}

Ibid.
^{^}

Deep Ganguli et al., ‘Predictability and Surprise in Large Generative Models’ (arXiv, 15 February 2022), 2, http://arxiv.org/abs/2202.07785.
^{^}

Brian Christian, The Alignment Problem: Machine Learning and Human Values (New York: W.W. Norton, 2020), pp. 12-13.
^{^}

Boulanin et al., 2020, 128
^{^}

Ariel Bleicher, ‘Demystifying the Black Box That Is AI’, Scientific American, 2017, https://www.scientificamerican.com/article/demystifying-the-black-box-that-is-ai/.
^{^}

Jack Dario, ‘Faulty Reward Functions in the Wild’, OpenAI, 22 December 2016, https://openai.com/blog/faulty-reward-functions/.
^{^}

Shin-Shin Hua, ‘Machine Learning Weapons and International Humanitarian Law: Rethinking Meaningful Human Control’, Georgetown Journal of International Law 51, no. 1 (2020 2019): 135.
^{^}

Scharre 2019, 32
^{^}

Hruby and Miller, 2019, 7
^{^}

Ibid.
^{^}

Dario Amodei et al., ‘Concrete Problems in AI Safety’ (arXiv, 25 July 2016), 3, https://doi.org/10.48550/arXiv.1606.06565.
^{^}

Douglas Heaven, ‘Why Deep-Learning AIs Are so Easy to Fool’, Nature 574, no. 7777 (9 October 2019): 165, https://doi.org/10.1038/d41586-019-03013-5.
^{^}

Ibid.
^{^}

Scharre 2019, 146
^{^}

Horowitz et al., ‘Policy Roundtable’.
^{^}

Horowitz and Scharre, ‘AI and International Stability’, 7.
^{^}

Boulanin et al, 2020, 121; Hruby and Miller, 2019, 7
^{^}

Hruby and Miller, 2019, 7
^{^}

Dear, ‘Artificial Intelligence and Decision-Making’, 23.
^{^}

Ibid.
^{^}

‘Human-Machine Teaming (JCN 1/18)’, Joint Concept Note, 2018, https://www.gov.uk/government/publications/human-machine-teaming-jcn-118.
^{^}

Horowitz et al., ‘Policy Roundtable’.
^{^}

Ibid.
^{^}

Jeffrey Dastin, ‘Amazon Scraps Secret AI Recruiting Tool That Showed Bias against Women’, Reuters, 10 October 2018, sec. Retail, https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G.
^{^}

Ibid.
^{^}

Nicola Davis, ‘Soviet Submarine Officer Who Averted Nuclear War Honoured with Prize’, The Guardian, 27 October 2017, sec. Science, https://www.theguardian.com/science/2017/oct/27/vasili-arkhipov-soviet-submarine-captain-who-averted-nuclear-war-awarded-future-of-life-prize. ; Pavel Aksenov, ‘Stanislav Petrov: The Man Who May Have Saved the World’, BBC News, 26 September 2013, sec. Europe, https://www.bbc.com/news/world-europe-24280831.
^{^}

Bruno Tertrais, "On The Brink—Really? Revisiting Nuclear Close Calls Since 1945," The Washington Quarterly 40, no. 2 (2017): 51, https://doi.org/10.1080/0163660X.2017.1328922
^{^}

Ibid.
^{^}

Boulanin et al, 2020: 114
^{^}

Michael C. Horowitz, ‘Trust, Confidence, and Organizational Decisions about AI Adoption: The Impact for US Defen’, Minerva Research Initiative, 2020. ; Hruby and Miller, ‘Assessing and Managing the Benefits and Risks of Artificial Intelligence in Nuclear-Weapon Systems’, 8.
^{^}

Horowitz, ‘Trust, Confidence, and Organizational Decisions about AI Adoption’.
^{^}

Johnson, ‘Delegating Strategic Decision-Making to Machines’, 444.
^{^}

Ruhl, ‘Autonomous Weapon Systems & Military AI: Cause Area Investigation’, 17.
^{^}

Boulanin et al, 2020: 115
^{^}

Johnson, ‘Rethinking Nuclear Deterrence in the Age of Artificial Intelligence’.
^{^}

Scharre 2019, 143
^{^}

Ibid., 139.
^{^}

Ibid., 143.
^{^}

Ibid., 162.
^{^}

Ruhl, ‘Autonomous Weapon Systems & Military AI: Cause Area Investigation’, 14.
^{^}

Wong et al., ‘Deterrence in the Age of Thinking Machines’, 66.
^{^}

Richard K. Betts, “Realism Is an Attitude, Not a Doctrine,” The National Interest, August 2015, https://nationalinterest.org/feature/realism-attitude-not-doctrine-13659.
^{^}

Wong et al., ‘Deterrence in the Age of Thinking Machines’, xi.
^{^}

Hruby and Miller, 2019, 9
^{^}

Johnson, ‘Delegating Strategic Decision-Making to Machines’, 459.
^{^}

Wong et al., ‘Deterrence in the Age of Thinking Machines’, xi.
^{^}

Ibid., 63.
^{^}

Ibid., 64.
^{^}

Jackson Barnett, ‘AI Needs Humans “on the Loop” Not “in the Loop” for Nuke Detection, General Says’, FedScoop, 14 February 2020, https://www.fedscoop.com/ai-should-have-human-on-the-loop-not-in-the-loop-when-it-comes-to-nuke-detection-general-says/.
^{^}

Johnson, ‘Delegating Strategic Decision-Making to Machines’, 445.
^{^}

Ibid.
^{^}

Ibid., 451.
^{^}

Ibid., 450.
^{^}

Boulanin et al, 2020: 109
^{^}

Hruby and Miller, 2019, 12
^{^}

Ibid., 13.
^{^}

Michael C. Horowitz, “When Speed Kills: Lethal Autonomous Weapon Systems, Deterrence and Stability,” Journal of Strategic Studies 42, no. 6 (September 19, 2019): 764–88, https://doi.org/10.1080/01402390.2019.1621174
^{^}

Ruhl, ‘Autonomous Weapon Systems & Military AI: Cause Area Investigation’, 21.
^{^}

Scharre, 2019, 149.
^{^}

Mina Kaji, Amanda Maile, and Gio Benitez, ‘1 Year after the Ethiopian Air Flight 302 Crash, Questions Remain as to When Boeing’s 737 Max Will Fly Again’, ABC News, accessed 2 October 2022,
^{^}

Pavel Podvig, ‘Reducing the Risk of an Accidental Launch’, Science & Global Security 14, no. 2–3 (1 December 2006): 89, https://doi.org/10.1080/08929880600992990.
^{^}

Anthony M. Barrett, Seth D. Baum, and Kelly Hostetler, ‘Analyzing and Reducing the Risks of Inadvertent Nuclear War Between the United States and Russia’, Science & Global Security 21, no. 2 (2013): 127.
^{^}

Boulanin et al, 2020, 128
^{^}

Stanislav Petrov, interviewed in Vasilyev, Yuri (2004), ‘On the Brink’, The Moscow News, 29 May, http://www.brightstarsound.com/world_hero/the_moscow_news.html.
^{^}

Scharre 2019, 144
^{^}

Ibid., 146.
^{^}

Ibid., 161-162.
^{^}

Ibid., 162.
^{^}

Ibid.
^{^}

Ibid., 168.
^{^}

‘Defence Artificial Intelligence Strategy’, 59.
^{^}

U.S. Department of Defence. ‘National Defence Strategy, 2022, 49, ’https://media.defense.gov/2022/Oct/27/2003103845/-1/-1/1/2022-NATIONAL-DEFENSE-STRATEGY-NPR-MDR.PDF
^{^}

Matthijs M. Maas, ‘How Viable Is International Arms Control for Military Artificial Intelligence? Three Lessons from Nuclear Weapons’, Contemporary Security Policy 40, no. 3 (3 July 2019): 287, https://doi.org/10.1080/13523260.2019.1576464.
^{^}

Wong et al., ‘Deterrence in the Age of Thinking Machines’, 52.
^{^}

Ibid., 50.
^{^}

Bryan Bender, ‘“A Big Blow”: Washington’s Arms Controllers Brace for Loss of Their Biggest Backer’, POLITICO, accessed 2 October 2022, https://www.politico.com/news/2021/07/19/washington-arms-controllers-nuclear-weapons-500126.
^{^}

Ruhl, ‘Autonomous Weapon Systems & Military AI: Cause Area Investigation’.

简介