人工智能安全标准白皮书-中国电子技术标准研究院

目录CONTENTS一、人工智能概述 (1)1.1 人工智能迎来第三次发展浪潮 (1)1.2 人工智能技术与应用进展显著 (2)1.3 人工智能产业链初具规模 (4)1.4 我国人工智能应用场景广阔 (6)1.5 人工智能总体发展水平仍处于起步阶段 (7)二、人工智能安全法规政策和标准化现状 (9)2.1 人工智能安全法律法规和政策 (9)2.1.1 国际国外情况 (9)2.1.2 国内情况 (15)2.2 主要标准化组织人工智能安全工作情况 (17)2.2.1 ISO/IEC JTC1 (17)2.2.2 ITU-T (18)2.2.3 IEEE (18)2.2.4 NIST (21)2.2.5 TC260 (22)2.2.6 其他标准化组织 (25)2.3 人工智能伦理道德工作情况 (26)三、人工智能安全风险分析与内涵 (29)3.1 新的攻击威胁 (29)3.2 人工智能安全隐患 (31)3.2.1 算法模型安全隐患 (31)3.2.2 数据安全与隐私保护隐患 (33)iv目录CONTENTS3.2.3 基础设施安全隐患 (36)3.2.4 应用安全隐患 (37)3.2.5 人工智能滥用 (38)3.3 安全影响 (39)3.4 人工智能安全属性和内涵 (41)四、人工智能安全标准体系 (44)4.1 人工智能安全标准化需求分析 (44)4.2 人工智能安全标准与其他领域标准的关系 (46)4.3 人工智能安全标准体系 (46)4.3.1 人工智能基础性安全标准 (47)4.3.2 人工智能数据、算法和模型安全标准 (48)4.3.3 人工智能技术和系统安全标准 (48)4.3.4 人工智能管理和服务安全标准 (49)4.3.5 人工智能测试评估安全标准 (50)4.3.6 人工智能产品和应用安全标准 (50)五、人工智能安全标准化工作建议 (51)附录A 人工智能相关安全标准 (55)A.1 TC260人工智能安全标准研究项目 (55)A.2 TC260人工智能安全相关标准 (56)A.3 ISO/IEC JTC1/SC42人工智能安全相关的标准 (57)附录B 人工智能应用安全实践案例（排名不分先后） (58)B.1 百度人工智能安全实践 (58)B.2 猎户星空人工智能安全实践 (61)v目录CONTENTSB.3 清华大学人工智能安全实践 (63)B.4 依图人工智能安全应用实践 (66)B.5 IBM人工智能安全实践 (69)B.6 深信服人工智能安全实践 (72)B.7 360 人工智能安全实践 (75)B.8 阿里巴巴人工智能安全实践 (78)B.9 华为人工智能安全实践 (82)参考文献 (85)vi一、人工智能概述人工智能，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统[1]。

人工智能相关技术的研究目的是促使智能机器会听（如语音识别、机器翻译等）、会看（如图像识别、文字识别等）、会说（如语音合成、人机对话等）、会行动（如机器人、自动驾驶汽车等）、会思考（如人机对弈、定理证明等）、会学习（如机器学习、知识表示等）[2]。

1.1 人工智能迎来第三次发展浪潮早在1950年，阿兰图灵在《计算机器与智能》中阐述了对人工智能的思考，并提出以图灵测试对机器智能进行测量。

1956年，美国达特茅斯学院举行的人工智能研讨会上首次提出人工智能的概念：让机器能像人类一样认知、思考并学习，这标志着人工智能的开端。

人工智能在20世纪50年代末和80年代初两次进入发展高峰，但受制于技术、成本等因素先后进入低谷期（如图1-1所示）。

近年来，随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展[2]，人工智能在算法、算力和数据三大因素的共同驱动下迎来了第三次发展浪潮。

1图1-1 人工智能发展历程图1.2 人工智能技术与应用进展显著人工智能技术不断发展，尤其是以深度学习为代表的机器学习算法，及以语音识别、自然语言处理、图像识别为代表的感知智能技术取得显著进步。

专用人工智能即面向特定领域的人工智能，由于其具备任务单一、需求明确、应用边界清晰、领域知识丰富、建模相对简单等特征，陆续实现了单点突破，在计算机视觉、语音识别、机器翻译、人机博弈等方面可以接近、甚至超越人类水平。

与此同时，机器学习、知识图谱、自然语言处理等多种人工智能关2键技术从实验室走向应用市场（如图1-2所示）。

机器学习主要研究计算机等功能单元，是通过模拟人类学习方式获取新知识或技能，或通过重组现有知识或技能来改善其性能的过程。

深度学习作为机器学习研究中的一个新兴领域，由Hinton等人于2006年提出。

深度学习又称为深度神经网络（层数超过3层的神经网络），是机器学习中一种基于对数据进行表征学习的方法。

在传统机器学习中，手工设计特征对学习效果很重要，但是特征工程非常繁琐，而深度学习基于多层次神经网络，能够从大数据中自动学习特征，具有模型规模复杂、过程训练高效、结果训练准确等特点[3]。

知识图谱，本质上是结构化的语义知识库，是一种由节点和边组成的图数据结构，以符号形式描述物理世界中的概念及其相互关系。

自然语言处理，研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

人机交互，主要研究人和计算机之间的信息交换，包括人到计算机和计算机到人的两部分信息交换。

计算机视觉，是使用计算机模仿人类视觉系统的科学，让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。

生物特征识别，是指通过个体生理特征或行为特征对个体身份进行识别认证的技术。

智能语音，主要研究通过计算机等功能单元对人的语音所表示的信息进行感知、分析和合成。

3图1-2 人工智能关键技术1.3 人工智能产业链初具规模从全球范围来看，人工智能市场发展迅速、潜力巨大。

我国作为全球最为重要的科技创新和应用主体，持续发力，促进人工智能产业快速发展。

2018年，我国人工智能产业规模约为344亿元，人工智能领域融资额达796.9亿元[5]。

截至2019年9月，我国人工智能相关公司总数已超过2500家[5]，主要从事计算机视觉、语音识别和语言技术处理等相关业务[6]。

《新一代人工智能发展规划》更是提出到2030年国内人工智能核心产业规模要超过1万亿元，带动相关产业规模超过10万亿元，为人工智能产业持续快速增长指出宏伟目标。

当前，全球人工智能产业链已初具规模，形成多层产业结构（见图451-3），其中基础层是人工智能的基础支撑，提供计算力、数据等基础资源；技术层是人工智能的技术体系，提供算法开发的软件框架、算法模型、关键技术；应用层实现人工智能应用，提供人工智能产品、服务、行业应用解决方案等。

图1-3 人工智能产业链结构人工智能产业链主要涉及智能基础设施厂商、智能信息及数据提供商、智能技术服务厂商、智能产品和服务提供商、智能应用解决方案提供商等。

智能基础设施厂商，主要包括智能芯片、智能服务器、端侧设备等为人工智能提供基础计算能力支持的厂商及传感器等硬件厂商。

智能信息及数据提供商，主要包括数据集提供商，及提供人工智能数据采集、标注、分析、处理相关服务的厂商。

智能技术服务厂商，依托基础设施和大量数据提供智能技术服务，主要包括提供人工智能的软件框架或技术平台、提供人工智能算法模型和关键技术咨询、提供人工智能在线服务等。

智能产品和服务提供商，即提供智能机器人、智能运载工具、智能终端、生物特征识别产品、自然语言理解产品、计算机视觉产品等人工智能产品数据(集)图像处理数据集语音处理数据集自然语言处理数据集.....行业应用智能安防智能机器人智慧金融自动驾驶智慧医疗人脸识别系统智能家居智能客服智能交通智能风控 ..........产品和服务关键技术计算机视觉多种神经网络模型自然语言理解朴素贝叶斯智能语音支持向量机人机交互决策树知识图谱k均值 ..........算法模型软件框架TensorFlow LiteTensorFlow Caffe Paddle-mobile PyTorch Core ML Paddle paddle NCNN MXNet ..........Caffe2go和服务的厂商[7]，这些产品和服务可以软硬件产品、云服务、API服务等形式存在。

智能应用解决方案提供商，即人工智能在智能金融、智能制造、智能交通、智能家居、智能医疗、智能金融等垂直行业和应用场景的解决方案提供者。

1.4 我国人工智能应用场景广阔近年来，我国陆续出台多项政策推动人工智能产业发展，多角度促进人工智能与经济社会深度融合发展。

工信部印发了《促进新一代人工智能产业发展三年行动计划（2018-2020年）》，中央深改委会议审议通过了《关于促进人工智能和实体经济深度融合的指导意见》，科技部印发了《国家新一代人工智能创新发展试验区建设工作指引》。

截止2019年，全国已建立15个国家级人工智能开放平台，21个省市地区政府出台了人工智能产业相关政策[5]。

在国家和地方政策扶持、数据资源丰富等多因素的驱动下，我国广阔的人工智能应用市场成为发展优势。

从垂直行业来看（见图1-4），人工智能在安防、金融、零售、医疗、政务、交通、制造、家居等行业领域得到应用。

相关报告显示，当前机器人、安防、医疗成为热门应用场景，智能军事、智能写作、无人船等领域相对处于起步阶段[5]。

人工智能在金融领域应用最为深入，在零售行业各环节多点开花，在医疗行业智能应用发展迅速，在政务和安防领域发展前景广阔，在制造业领域有待进一步开发应用潜力[6]。

6图1-4 人工智能行业应用示意1.5 人工智能总体发展水平仍处于起步阶段目前，人工智能在大数据、算力和深度学习算法的驱动下迎来了新一代发展浪潮，但如考虑到人工智能的研究目的是“探索智能本质”，人类尚无法研制出具有类人智能的智能机器。

因此，人工智能总体发展水平仍处于起步阶段，主要表现在三个方面：一是通用人工智能研究与应用依然任重道远[2]。

当前专用人工智能领域虽然已取得突破性进展，但是专用智能主要是弱人工智能，即缺乏自主意识，不能真正实现概念抽象、推理决策和解决问题。

通用人工智能，也称为强人工智能或类人智能，通常是指达到人类水平的、能够自适应地应对外界环境挑战的、具有自我意识和思维能力的人工智能。

比如，人的大脑就是一个通用的智能系统，能举一反三、融会贯通，可处理视觉、听觉、判断、推理、学习、思考、规划、设计等各类问题。

通用智能目前还处于起步阶段，距离人类智能仍有许多差距。

二是人工智能技术距离“很好用”还存在诸多瓶颈。