美国联合人工智能中心发布AI测试与评估信息请求

为了加速美国国防部采用人工智能技术的进程，美国联合人工智能中心（JAIC）正在创建一个联合通用基础（JCF）平台。为此，JAIC/国防信息系统局（DISA）/国防信息技术合同组织（DITCO）于2020年4月13日发布了信息请求（RFI），要求开发AI测评软件、创建AI测评流程和最佳实践，由供应商提供AI测评服务。

JAIC由美国国防部首席信息官（CIO）主管，该中心旨在加速整个国防部采用人工智能（AI）技术的进程。各军兵种对AI技术的需求不断增长，以求增强作战人员执行重复和/或危险任务的能力。AI有潜力为作战人员提供及时和关键的支持，提高作战节奏，从而在战场上提供优势。JAIC已经建立了几个关键的任务倡议（MI）（如图1所示），其中，AI可以增强跨军种作战。

为了促进AI技术的采用，JAIC正在创建一个联合通用基础（JCF）平台。如图2所示，JCF将发现、开发和测试AI问题的解决方案，并作为任务倡议开发的AI技术的主要平台。

为了确保每个任务倡议都能生产出安全有效的产品，JAIC设有一个测评（T&E）办公室，专门负责在JCF上提供测试服务。利用算法测试、系统测试和操作测试，该办公室负责评估所有JAIC产品，并独立提供AI性能的分析。

JAIC是国防部的AI卓越中心。JAIC测评团队负责开发国防部范围内的AI测评流程、工具和标准。为了实现这一目标，该团队将在JCF上开发和托管AI测试设备，以供更广泛的国防部机构使用。此外，该团队还需要成为AI测评主题专家的集中联络点。

2020年4月13日，JAIC测评办公室发布信息请求，包括开发AI测评软件、创建AI测评流程和最佳实践，由供应商提供AI测评服务。该团队的主要需求如下：

测试技术及工具

JAIC 测评办公室寻求为各种AI应用获取测试技术和工具。按照预期，AI测评聚焦于开发测评能力支持国防部的全频谱新兴AI技术，包括机器学习、深度学习、神经网络。其重点包括：

（1）使用语音自动转化为文本的对话界面应用程序。

（2）为国防部应用和系统提供语音产品和服务。

（3）图像分析，测试基于深度学习的视觉搜索和图像分类器。

（4）支持自然语言处理（NLP）的产品和服务。

（5）通过机器增强人类的能力，包括人机界面和衡量作战人员认知和身体负荷的改进方法，具体包括增强现实（AR）和虚拟现实（VR）测试服务。

（6）自主系统。

测评服务

JAIC测评团队正在寻求政府、学术界和工业界组织的服务，以协助任务倡议或其他国防部工作人员进行技术测评，具体需求如下：

（1）数据集开发/管理：每个任务倡议或国防部AI项目都有独特的数据，针对这些数据，必须以一定的方式进行获取和管理，以便能够被现代AI软件系统使用。这些工作包括但不限于数据质量评估、图像注释和数据覆盖分析。

（2）测试工具开发：创建自动的、封装的、支持云的测试工具，以帮助将数据自动导入到封装的AI模型中，并汇总结果。

（3）模型输出分析：需要专业分析知识/软件来评估由任务倡议开发的AI模型结果质量。这方面的工作包括开发封装的、基于云的分析软件，以及创建特定场景、与操作相关的性能指标。

（4）测试计划、文档和报告：测试专家为AI算法创建测试生命周期（算法测试、系统测试和操作测试）所需的文档。包括但不限于，创建测评主计划（TEMPS）、测试计划，创建测试报告，记录结果，以及管理测试计划。

（5）测试服务：对AI产品进行测评的服务和专业知识，包括但不限于，在算法测试、系统测试、开发测试和操作测试等所有测评领域对AI算法和/或AI使能系统进行测试。

来源：《战略前沿技术》                                                                

相关文章