在军用人工智能系统中保持人工控制及实现这种控制的挑战 Michael Boardman and Fiona Butcher

童波

国防大学，北京 100091 北京市海淀区红山口甲三号

摘要：未来的作战环境需要有效地整合人和人工智能(AI) ，以使系统具备决策功能。随着这些人工智能系统的应用，确保对大数据分析和决策支持系统进行适当的人工控制将变得越来越重要。有意义的人工控制(Meaningful human control, MHC)是一种“能够在知情的情况下及时做出选择来影响人工智能系统，使其获得最佳作战结果”的能力。影响MHC的因素有许多，包括选择的自由和人对态势及系统的充分理解。因此，为确保MHC得到恰当的运用，未来的敏捷指挥控制系统的设计过程中要将人的判断和决策需求考虑在内。在过去的一年中，北约的HFM-ET-178小组已经研究了与MHC相关人为因素的多方面问题，并计划在2020年举行的后续北约研讨会上研究其中的一部分。虽然这项研究由HFM小组领导，但未来的研究活动有非常显著的跨域特点，有望得出一个综合的解决方案。本文讨论了在军事、人工智能系统中保持人工控制的重要性。它的基础是北约HFM178研究小组在12个月期间开展的工作，其目的是提倡今后在北约各小组、活动之间建立联系。

1．引言

在军用和民用领域，自主智能机器人系统的使用越来越普遍，而且随着技术的成熟和价格的下降，这一趋势还会加速。这些系统以自动驾驶汽车、工作机器人的物理形式存在，或者以软件代理的形式存在，它以人类无法达到的速度、精度或持续时间自动处理数据，为决策者提供支持，甚至自己做出决定。虽然这些技术具有潜在的巨大优势，但使用先进的自动化系统、自主系统、人工智能和机器学习技术也带来了许多复杂的社会技术、法律、道德和伦理方面的问题。这些问题通常需要通过人力监督和系统控制来解决。通过人工控制既可以实现“监督系统并在需要时完全接管”，也可以实现“成为人、机混合编组(HMT)的一部分，来进行控制”。

在未来作战环境中加快作战节奏、增加信息可用性方面的需求，以及出于降低人员风险的考虑都将促使在军事应用中更广泛地采用复杂的自动化、自主和人工智能系统。然而，未来战场空间中物理、信息和政治的复杂性决定了决策过程需要人的判断、适应性、灵活性和积极性参与其中，只有这样才能具备有效的作战、法律和弹性能力，而且这些决策单靠技术能力无法完成的。因此，在数据分析、规划、决策和效果实现方面，人和人工智能(AI)的有效整合将发挥越来越重要的作用。

在许多民用系统中，人工智能、机器学习和机器人技术的应用比军用系统中的类似应用更为先进；因此，可以从它们的发展、使用和演变中吸取宝贵经验。例如，在自动驾驶汽车的开发中，可控性被证明是一个应被考虑的关键问题，它综合了复杂的技术、人体工程学、法律、道德和组织因素。其中一些经验很可以转化应用到军事领域；但是，可控性在军事和民用领域的应用、要求之间有显著的差异。在民用领域中，使用环境和场景相对而言是可预测的，但在军事环境中，作战的RIA系统必须达到以下几点要求：能够承受不利因素的冲击并适应快速变化的条件；能够容纳不完善、存在潜在错误的数据来源；能够应对蓄意对抗行动；能够处理使用武力带来的道德影响；能够符合国际人道主义法(IHL)和交战规则的要求。此外，军事系统必须能够在广泛的高动态环境和使用案例中安全有效地运行，而这样的环境和案例在设计阶段是难以预测或进行预先准备的。它们还必须对失败和复杂、不确定和不可预测的事件和局势具有弹性，因为军事领域的动态调整需要根据交战规则、国际法以及对合法性、相称性和风险的判断来对可接受的行动作出复杂的判断。因此，综合利用规范、设计、训练、作战程序和保证过程来保持人工控制，在许多(即便不是所有)军事系统都是关键所在。

本文主旨在于探讨：

• 在利用人工智能或机器学习技术的系统中，人工控制的本质；

• 在人工智能系统的各种未来军事应用中，促进或阻碍人工控制的因素；

• 在未来的系统、体系中确保人工控制及责任机制得以实现和保持的复杂性。

本文最后指出了有待进一步研究的方面，并打算在国防这一关键领域进行进一步的讨论和辩论。

2．背景

北约(NATO)研究小组的最初目标是理解“对采用了人工智能或机器学习技术的系统进行有意义的人工控制(Meaningful Human Control, MHC)”的含义，并开发一个共享的工作定义。

为了深化对这一定义的理解，我们从三个方面对MHC进行了研究：

• 指挥系统中的权力、责任和问责机制；

• 可能使用人工智能技术的应用类型；

• 人与人工智能系统之间的交互类型，如:人的监督和干预（人在/不在回路），将人工智能系统作为支持工具，人、机混合编组 (HMT)。

这三个方面对MHC进行研究使北约研究小组深刻认识到，在提供定义时需要考虑各种各样的因素和不同应用领域的复杂性。研究还涉及了在能够产生致命影响的系统中使用AI和自主技术带来的复杂的法律和政治环境。

最近，在联合国组织的关于特定常规武器 (CCW)和使用致命自主武器系统(LAWS)的2016年专家会议上，MHC作为一个重要概念受到了关注。虽然MHC的概念已经与自主武器联系在一起，但它可以在更广泛的应用中发挥作用，包括基于人工智能的用于规划、决策支持和情报、监视、目标、获取与侦察(ISTAR)的军事应用。由于这些技术将被应用于行动的决策过程中，且这些行动可能造成人员伤亡或者需要对其法律或道德问题进行人工评估，因此，让责任机制保持作用发挥是至关重要的。人工控制也可以看作是保护这些系统的性能和弹性的关键组成部分，因为人的积极参带来的适应性和灵活性可以应对技术能力之外的情况。

由于MHC既可以在提供有效行动的系统中发挥作用，也可以在采取致命、非致命行动之前的许多情报收集、决策、规划和态势感知的系统中发挥作用，因此，ET应该测试更多类型系统，而不是仅仅测试那些能产生致命影响的系统。

3．有意义的人工控制的本质

为了确定MHC的含义，必须要研究构成MHC的成分。人们认识到，在自主系统和人工智能系统中出现的许多与人工控制有关的问题并不新鲜，它与自动化系统中的人工控制有许多相似之处。例如，NASA在1995年公布了以下自动指挥和控制系统的设计原则：

为了有效地指挥，作战人员必须参与其中；必须通知涉及到的作战人员；作战人员必须能够监控自动化系统；自动化系统必须能够监控作战人员；自动化系统的行为必须是可预测的；系统的每个元素都必须知道其他元素的意图。

这确定了最近许多关于自主系统的论文和指导性文件的一些关键主题，比如：人感知系统状态的的能力和预测系统行为的能力，用户保持态势感知的重要性，人与机器之间双向理解的需求，以及对彼此目标的有共同的理解。然而，有些概念并没有体现在NASA的指导性文件中，比如信任的概念以及将机器作为团队的一员而不是工具的概念。这两个方面对于理解人工控制是如何实现的以及如何失去的尤为重要。有许多种对自动化和自主性进行分类的方法，它们提供了对自动化和自主系统的控制轨迹和本质的各种见解，其中一个例子是决策和行动选择的自动化程度，如表1所示。

表1 决策和行动选择的自动化程度

低

1.计算机不提供任何帮助;人类必须做出所有的决定和行动。

2.计算机提供了一套完整的决策/行动方案，由人从中选择和执行。

3.计算机将选择范围缩小到几个，由人类选择并执行。

4.计算机提出了一个由人来执行的备选方案

5.计算机提出一个备选方案，如果人们同意，就执行它。

6.计算机提供了一个备选方案，在自动执行之前，允许人类有有限的否决时间。

7.计算机自动执行，然后必然通知人。

8.计算机自动执行，只有在被要求时才通知人。

9.计算机自动执行，并自主决定是否在执行后通知人类。

10.计算机决定一切，自主行动，无视人类

高

尽管这些级别的自动化在许多应用中(比如，自动驾驶汽车)被证明是有用的，但我们认为对于MHC的讨论而言，它们太过简单了。

基于对现有文献的回顾和对人工智能技术在军事系统中的一系列潜在应用的思考，人们发现，人对系统的控制是复杂的，只有极少是离散的(简单的有、无)，多数情况下，它是动态的、多维的，所需的控制水平与态势高度关联，并不取决于某个特定的时刻。ET提出了一套有助于描述人工控制水平的维度和特征。表2罗列了这些维度和特征。

表2 人工控制的建议维度/特征

3.1影响人工智能军用系统人工控制的因素

通过对现有文献的回顾，并将其应用于军用背景之中，ET认为在有意义的人工控制这一概念中包含多个维度和概念。因此，ET认为，在适度人工控制的概念下考虑人工智能系统的“人工控制”会更有帮助。应认识到人工控制的程度和本质是动态的，与环境高度关联，由多种因素组成，这些因素或多或少取决于系统的情况和性质以及系统提供的潜在利益和结果。因此，在人工智能和自主系统中，ET提出了两个既互补又相互关联的人工控制组件；它们是:有意义的人工控制和高效的人工控制。见图1。

有意义的人工控制(MHC)包括以下要素:

• 法规——MHC要防止违反国际人道主义法，并保持对军事行动的问责机制(在物理和信息领域)；

• 道德/伦理——MHC要为军事决策和军事行动(物理和信息领域)提供道德和伦理方面的内容。

高效的人工控制(EHC)是必需的，因为人和机器为着一个共同的目标而工作比单独工作更好。在人、机混合编组中进行高效的人工控制可以有以下效果：

• 绩效/效率的推动者- EHC是改善作战结果的推动者；

• 风险降低的促成者- EHC减少了不良结果出现的风险，是系统弹性的关键促成者。

图1有意义的和高效的人工控制

这两个方面需要一起考虑，因为以牺牲一个方面为代价来关注另一个方面会产生负面的结果。例如，片面地追求系统的高效运转和性能优化可能会在无意中影响有意义的控制，而如果用户对某些类型的决策过度参与，可能会导致系统延迟或出现偏差和错误，从而影响了作战效率。

3.2有意义的人工控制的描述。

根据调查的结果，并为了避免不断演变的法律辩论带来的潜在政治敏感性，决定采取工作说明的形式替代正式定义的形式，这样更有助于支持进一步的研究。

基于确定的因素，以下人工控制的描述得到了ET研究小组成员的认可：

人有能力在足够的时间内做出明智的选择，并影响人工智能系统，以实现预期的效果，或防止在当前或未来对环境产生不良影响。

3.3实现有意义和高效的人工控制

ET还考虑了如何设计系统来实现适度人工控制。这包括了对部署MHC和EHC系统所涉及的流程和利益相关者的考虑，以获得适当的指导和支持。

为使该系统能够实现有意义和高效的人工控制，要将许多领域的行动包含在其中：

国家政策和组织政策；系统规范；系统设计；系统验证和确认；用户培训；人工智能和机器学习的训练；体系集成；指挥控制过程开发；互操作性；作战使用；复盘和吸取教训。

这些活动需要多个利益相关团体参与，以确保现场系统实现适度人工控制，见表3。

表3 有助于确保在系统中进行适当的人工控制的相关群体

这些活动以及实施这些活动的利益攸关方需要得到有依据的指导方针、工具、标准和政策的支持，包括：

推动者和工具:

共同的语言和术语；MHC和EHC模型；评估和测量系统/ 体系和组织内部MHC和EHC的工具；EHC风险分析工具；MHC和EHC的证据基础及相关研究文献；HC用例和例子。

指导方针和标准：

人的系统集成(HSI)、MHC与EHC的整合获取；MHC和EHC的最佳实践/范例；人、机混合编组指导方针。

3.4 使用人工控制维度来支持系统内适度人工控制的实现

这一过程的第一步是判断确定的维度是否与提出的确保在自主系统和人工智能系统内实现人工控制的方法一致，。将ET的人工控制维度与iPRAW对人工控制的要求进行了比对，以确定他们一致的程度，并了解这两种方法如何支持这些类型的系统的设计，如表4

3.5人工控制的复杂性

考虑单个用户系统时，人工控制的本质就已经很复杂了，如果考虑更广泛的体系因素，这种复杂性还会显著增加。AI系统、人和人机混合编组之间的交互很可能导致复杂的、未预料到的突发行为和系统属性，见图2。这种复杂性将导致相关的系统性能受损、风险问责以及法律和道德问题出现，进而增加了人工控制失效的可能性。此外，还存在单个系统层级的人工控制在体系层级中失效的风险。

图2 实现、保持人工控制的多个交互单元的复杂性

此外，还有一种复杂性，根据不同的系统状态、作战布势、交战规则和更广泛的环境背景 (例如，在通信受到限制或中断的情况下)，系统的功能和对作战结果的潜在影响会有不同的变化。在设计和部署计划中，需要理解和考虑所有的系统行为和系统状态，以确保在这种复杂性中不会丧失对系统适当的人工控制，保持人对系统的负责。

4． 结论

• 人对人工智能系统的控制是复杂的，只有很少是离散的，多数情况下，它是动态的、多维的，所需的控制水平与态势和时间高度关联。

• 有意义的人工控制已经与自主武器联系在一起，它可以更广泛地应用于一系列人工智能系统的军事应用，如规划、决策支持和ISTAR系统。由于这些技术将被应用于行动的决策过程中，且这些行动可能造成人员伤亡或者需要对其法律或道德问题进行人工评估，因此，让责任机制保持作用发挥是至关重要的。人工控制也可以看作是保护这些系统的性能和弹性的关键组成部分，因为人的积极参带来的适应性和灵活性可以应对技术能力之外的情况。

• “在人工智能系统中的适度人工控制”概念在支持人工智能系统设计方面可能比“有意义的人工控制”更有用处。但是，在一个系统中确定适当的人工控制的程度需要同时考虑这两方面：有意义的人工控制(与人工控制的法律、道德和伦理方面相关)和高效的人工控制(与人机交互和人、机混合编组的性能及系统效能相关)，这两个方面需要一起考虑，因为只考虑一方面，可能会产生负面的结果。

• 在复杂体系和跨国组织中，实现、确保人工控制和问责机制是一项挑战。因此，只有通过分析系统设计的各个方面和系统内部的交互(人-人、人-机、机器-机器和多个人、机混合编队之间)，才能了解并管理风险，实现适当的人机控制。

• 有多个利益相关者小组和流程来确保在战场上实现对人工智能系统的适当的人工控制。

作者简介：童波（1990.11-），男，福建长汀人，汉，在读硕士研究生

—5—