PAI阿里云人工智能产品家族概述
阿里云机器学习PAI平台在驾驶行为识别上的应用

收稿日期:2020-09-13基金项目:福州职业技术学院校级科研项目(FZYKJJJB201901).作者简介:林峰,福建漳州人,福州职业技术学院工程师;刘永志,福州职业技术学院教授(福建福州350108).阿里云机器学习PAI 平台在驾驶行为识别上的应用林峰,刘永志摘要:随着具有车内外双拍摄功能行车记录仪的普及,如何通过分析车内驾驶人员实时影像,识别驾驶者状态,对分心驾驶、疲劳驾驶等危险行为进行及时预警已成为近年来研究的热点问题之一.该文基于阿里云机器学习PAI 平台,利用Auto Learning 自动学习模块,对1100张含10种驾驶状态的车内影像数据构建了线上深度学习模型,模型训练耗时约11分钟,识别准确率可达99.08%,并通过与传统本地线下模型训练方式的对比,验证了基于PAI 平台方案的可行性,为基于图像识别的驾驶行为检测提供了一种新的参考方法.关键词:PAI 平台;Auto Learning ;驾驶行为;机器学习中图分类号:TP181文献标志码:A文章编号:1008-7974(2021)04-0085-05DOI :10.13877/22-1284.2021.04.0142020年4月,中国社会福利基金会等机构发布了《道路交通安全调研报告——2019年度:不良驾驶行为》.报告指出分心驾驶、疲劳驾驶等不良驾驶行为是造成2019年度中国道路交通事故的最主要原因.因此如何有效识别车辆司机驾驶状态,对分心驾驶、疲劳驾驶等危险行为进行及时预警,对减少车辆交通事故的发生具有重大意义[1].近年来,随着行车记录仪的普及,通过对驾驶人员实时影像检测,快速识别不良行为并告警已逐渐成为解决不良驾驶行为的主流方案[2-3].在该方案中,基于深度学习的图像识别技术被广泛使用,并已在实践中被证实具有较高的性能和准确性[4].但是传统的深度学习图像识别技术存在以下不足:一是需要开发人员掌握深度学习相关理论知识,能够熟练使用Keras 、TensorFlow 等第三方代码库,并具备手工搭建多层人工神经网络模型的能力;二是深度学习模型训练的过程往往需要消耗大量的计算资源,若开发人员硬件资源受限,将无法进行大规模图像识别模型的构建;三是图像识别模型一旦训练完成后,缺2021年第4期第42卷总第313期学报2021年第4期学报乏便捷的手段将其快速部署,实用性不强[5-8].机器学习PAI 平台是阿里云计算有限公司开发的一款在线机器学习平台.基于阿里云自身丰富的技术积累和强大的云计算资源,开发者只需准备训练数据集,PAI 平台可提供数据预处理、数据分析、数据可视化、模型评估、模型发布等一站式服务.Auto Learning 自动学习模块是机器学习PAI 平台中的重要组件之一.在图像识别问题上,只要训练集数据质量得到保证,Auto Learning 自动学习模块就能快速训练足够精确的模型,并提供一键发布模型的服务[9].鉴于此,本文利用阿里云机器学习PAI 平台,结合Auto Learning 自动学习模块,构建了线上驾驶行为识别模型,并进行了相关验证和发布试验.1机器学习PAI 平台机器学习PAI 平台(Platform of Artificial In⁃telligence )是一款阿里云人工智能平台,提供了一站式的机器学习解决方案.PAI 平台起初仅服务于阿里巴巴集团内部业务,致力于让阿里巴巴集团内部开发者能够高效、简洁、标准地使用人工智能技术.随着平台技术的不断积累,2018年机器学习PAI 平台正式商业化,目前已积累了数万企业客户和个人开发者,是国内领先的线上机器学习平台之一.机器学习PAI 平台具有如下优点:①支持一站式机器学习,使用者只需要准备好训练数据(注意:数据通常存放在阿里云OSS 或MaxCom⁃pute 系统中),数据上传、数据预处理、特征工程、模型训练、模型评估及模型部署等环节均可在阿里云PAI 平台中操作实现.②对接阿里云DataWorks 大数据平台,支持SQL 、UDF 、UDAF 、MR 等多种数据处理方式,灵活性较高.③生成模型的实验流程支持DataWorks 平台周期性调度,且调度任务可区分生产环境和开发环境,确保数据安全性.机器学习PAI 平台主要提供了可视化建模PAI-Studio 、交互式AI 研发PAI-DSW ,以及自动化建模Auto Learning 三种使用模式.其中Auto Learning 模式提供了自动机器学习服务,支持在线标注、自动模型训练、超参优化及模型评估等常见机器学习操作.使用者只需准备少量标注数据,设置训练时长,就可以得到深度优化的人工智能算法模型.2基于机器学习PAI 平台的驾驶行为识别2.1数据准备本文实验数据来源于大数据算法竞赛平台Kaggle (赛题:State Farm Distracted Driver De⁃tection ),涉及26位司机、10种驾驶行为,合计22424张图片.每张图片尺寸均为640×480,约占40KB 存储空间.原始数据集体量较大,为方便实验,抽选了具有代表性的两名司机(司机编号:p021、p022)的样本数据,并随机拆分为训练集(图片数量:1100)和测试集(图片数量:220).其中图片示例如图1所示,数据集分布见表1.图1训练样本示例林峰,等:阿里云机器学习PAI平台在驾驶行为识别上的应用表1数据集分布类别代码c0 c1 c2 c3 c4 c5 c6 c7 c8 c9合计驾驶行为说明normal drivingtexting-righttalking on the phone-righttexting-lefttalking on the phone-left operating the radiodrinkingreaching behindhair and make uptalking to passenger训练集2001001001001001001001001001001100测试集40202020202020202020220合计2401201201201201201201201201201320阿里云PAI平台中图像识别模型依赖的训练数据需存储于OSS平台中.OSS(Object Storage Service,对象存储服务)平台提供面向海量数据规模的分布式存储服务,具有稳定、可靠、安全、低成本的特点.在OSS平台中创建存储空间(亦称之为Bucket),新建目录,并通过专用客户端工具oss-browser,将1100张训练集图片进行上传.值得注意的是,需要创建相应的RAM角色(角色名:AutoLearningRole),并赋予AliyunOSSFullAccess权限,阿里云PAI 平台才能访问OSS平台图像数据用于模型训练.具体角色创建及赋权操作可见阿里云相关帮助文档,此处不作赘述.2.2创建Auto Learning实例进入阿里云机器学习PAI平台,在“自动学习(Auto Learning)”栏目中,创建实例.其中在“创建实例”对话框中,选择实例类型为“图片分类”,并设置标注配置文件OSS路径.标注配置文件为CSV文本文件,需手工生成,用于指定训练集中各图片所属类别.文件内容包含样本ID、图片文件OSS路径,以及类别标注等信息,内容格式如下所示:0,{"tfspath":"oss:/// distracted_driver_detection/train/img_58285.jpg"},{"option":"c0"}2.3模型训练及评估在Auto Learning自动学习页面中,通过随机抽查,确认训练图片标注无误后,即可进入模型训练及评估阶段.点击页面下方“完成标注”按钮,弹出“开始训练”对话框.配置最大训练时长为60分钟后,点击“开始训练”按钮.截止本文撰写时,阿里云PAI平台Auto Learn⁃ing自动学习模块仍处于公测阶段,配置参数“最大训练时长”不能超过60分钟,对训练模型所消耗的阿里云计算资源无需付费.经过约11分钟时长的训练,驾驶行为识别模型指标数据已达到预期:准确率99.08%,模型训练结束.2.4模型部署和测试使用模型训练完毕后,可进行EAS部署.阿里云EAS(Elastic Algorithm Service,弹性算法服务)支持将所训练的模型发布为在线预测服务,通过RESTful API形式供第三方系统或平台使用.本文以流行的Python编程语言作为实例,本地测试客户端通过阿里云提供的eas-prediction库,进行模型在线接口调用,核心代码如下所示.#引入模块from eas_prediction import PredictClientfrom eas_prediction import StringRequest#初始化客户端client=PredictClient("接口公网URL地址")client.set_token("接口TOKEN码")client.init()#构造请求参数request=StringRequest('{"image":"待预测图片base64编码"}')#预测response=client.predict()print(response.response_data.decode())在线预测服务返回的结果为JSON字符串,提供了上传图片所属各类别的概率,形如:{"class_probs":{"c9":2.4398683962090217e-08,"c8":2021年第4期学报1.7996175074586063e-06,……},"success":true ,"request_id":"ff281367-4d25-435b-8cca-69b653ed5e48","class_name":"c6","probs":[3.242876633891001e-09,5.356615773166595e-08,……],"predictions":3,"class":3}通过使用PAI 平台在线预测服务,结合上述核心Python 代码,对含220张驾驶图片的测试集进行了预测分析,比对真实情况,220张图片驾驶行为均被准确识别,准确率为100%.同时经过测试,平均每张图片预测耗时1160毫秒,不超过1.5秒,满足驾驶行为检测性能要求.3传统本地线下模式比对为与机器学习PAI 平台方式进行对比分析,本文使用Python 编程语言,依托深度学习开源库Keras (版本号:2.2.5)、TensorFlow (版本号:1.15.3),开发了CNN 卷积神经网络模型.所设计的本地模型包含了卷积层、池化层、全连接层等结构,合计参数12946890个.使用上述与机器学习PAI 平台方式相同的1100张图片进行模型训练,在个人计算机中(CPU :1.8GHz 、4核,内存:10GB 、DDR3)耗时约222分钟(3.7小时),模型准确度及损失函数(cate⁃gorical_crossentropy )逐渐收敛,如图2所示.图2线下模型准确度、损失函数收敛曲线通过对含220张图片的测试集进行测试,成功预测193张图片所属驾驶行为,准确率为87.73%,此外平均每张图片预测耗时43毫秒.结合模型训练耗时、测试集准确率、平均每帧图片预测耗时及费用等因素,将本地开发模式与在线PAI 平台模式进行对比,具体情况见表2.基于PAI 平台Auto Learning 模式的方法表2两种模型训练模式对比项目训练耗时/min 训练集准确率/%测试集准确率/%每帧识别耗时/ms模型发布主要工作内容费用机器学习PAI 平台模式1199.081001160支持一键自动发布数据准备①OSS 存储(标准型):0.12元/GB/月;②Auto Learning 训练:公测阶段免费;③EAS 服务(1CPU 核心+4GB 内存):0.4元/小时.传统本地线下模式22298.7387.7343需要代码开发支持数据准备、代码开发、模型评估等基于第三方开源平台,免费使用林峰,等:阿里云机器学习PAI平台在驾驶行为识别上的应用具有如下特点:①操作人员不需要掌握额外的编程方法和深度学习技术,能够将主要精力集中于训练数据的采集和标注上.②依托阿里云IT技术积累,图像分类模型准确率较高.③可弹性提供模型训练依赖的计算资源.④易于将模型发布为线上服务,方便其他系统或平台使用.⑤资费合理,使用者无需承担过高的费用,即可享受机器学习模型的训练、测试、发布等一站式服务.4结语本文基于阿里云机器学习PAI平台,结合Auto Learning自动学习模块,利用1100张含10种驾驶状态的车内影像数据,构建了一个高性能的线上驾驶行为识别模型.该方案解决了传统本地线下模型训练方式深度依赖开发能力和计算资源的缺陷,后续计划将进一步丰富数据集,提升模型在多场景、多尺度情况下驾驶行为识别准确率.参考文献:[1]崔健,赵建有.驾驶分心对隧道段行车安全影响分析[J].安全与环境学报,2016,16(6):174-178.[2]陈军,陆娇蓝,刘尧,等.基于云计算的多特征疲劳驾驶检测系统研究与设计[J].计算机测量与控制,2015,23(10):3341-3343.[3]张辉,钱大琳,邵春福,等.驾驶人分心状态判别支持向量机模型优化算法[J].交通运输系统工程与信息,2018,18(1):127-132.[4]RAO X,LIN F,CHEN Z,et al.Distracted driv⁃ing recognition method based on deep convolutional neural network[J].J Amb Intel Hum Comp,2019(8):193-200.[5]郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36.[6]周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017(6):1-23.[7]李林,张盛兵,吴鹃.基于深度学习的实时图像目标检测系统设计[J].计算机测量与控制,2019(7):15-19.[8]邢艳芳,段红秀,何光威.TensorFlow在图像识别系统中的应用[J].计算机技术与发展,2019,29(5):192-196.[9]焦嘉烽,李云.大数据下的典型机器学习平台综述[J].计算机应用,2017,37(11):3039-3047,3052.(责任编辑:王前)Application of Aliyun PAI Platform in Driving Behavior RecognitionLIN Feng,LIU Yong-zhi(Fuzhou Polytechnic,Fuzhou350108,China)Abstract:With the popularization of driving recorders with dual camera function,how to analyze the real-time images of the driver in the car to identify the driver's state and provide timely warning of dangerous behaviors such as distracted driving and fatigue driving has become a hot research topic in recent years. Based on the PAI platform,this article uses the Auto Learning module to construct an online deep learn⁃ing model on1100in-car image data containing10driving states.The model training takes about11 min,and the recognition accuracy is up to99.08%.In addition,this paper verifies the feasibility of the PAI platform solution based on the comparison with the traditional local offline model training method,and provides a new reference method for driving behavior detection based on image recognition. Keywords:PAI platform;Auto Learning;driving behavior;machine learning。
阿里云专有云企业版机器学习PAI用户指南说明书

机器学习PAI⽤⼾指南·法律声明法律声明阿⾥云提醒您在阅读或使⽤本⽂档之前仔细阅读、充分理解本法律声明各条款的内容。
如果您阅读或使⽤本⽂档,您的阅读或使⽤⾏为将被视为对本声明全部内容的认可。
1. 您应当通过阿⾥云⽹站或阿⾥云提供的其他授权通道下载、获取本⽂档,且仅能⽤于⾃⾝的合法合规的业务活动。
本⽂档的内容视为阿⾥云的保密信息,您应当严格遵守保密义务;未经阿⾥云事先书⾯同意,您不得向任何第三⽅披露本⼿册内容或提供给任何第三⽅使⽤。
2. 未经阿⾥云事先书⾯许可,任何单位、公司或个⼈不得擅⾃摘抄、翻译、复制本⽂档内容的部分或全部,不得以任何⽅式或途径进⾏传播和宣传。
3. 由于产品版本升级、调整或其他原因,本⽂档内容有可能变更。
阿⾥云保留在没有任何通知或者提⽰下对本⽂档的内容进⾏修改的权利,并在阿⾥云授权通道中不时发布更新后的⽤⼾⽂档。
您应当实时关注⽤⼾⽂档的版本变更并通过阿⾥云授权渠道下载、获取最新版的⽤⼾⽂档。
4. 本⽂档仅作为⽤⼾使⽤阿⾥云产品及服务的参考性指引,阿⾥云以产品及服务的“现状”、“有缺陷”和“当前功能”的状态提供本⽂档。
阿⾥云在现有技术的基础上尽最⼤努⼒提供相应的介绍及操作指引,但阿⾥云在此明确声明对本⽂档内容的准确性、完整性、适⽤性、可靠性等不作任何明⽰或暗⽰的保证。
任何单位、公司或个⼈因为下载、使⽤或信赖本⽂档⽽发⽣任何差错或经济损失的,阿⾥云不承担任何法律责任。
在任何情况下,阿⾥云均不对任何间接性、后果性、惩戒性、偶然性、特殊性或刑罚性的损害,包括⽤⼾使⽤或信赖本⽂档⽽遭受的利润损失,承担责任(即使阿⾥云已被告知该等损失的可能性)。
5. 阿⾥云⽹站上所有内容,包括但不限于著作、产品、图⽚、档案、资讯、资料、⽹站架构、⽹站画⾯的安排、⽹⻚设计,均由阿⾥云和/或其关联公司依法拥有其知识产权,包括但不限于商标权、专利权、著作权、商业秘密等。
⾮经阿⾥云和/或其关联公司书⾯同意,任何⼈不得擅⾃使⽤、修改、复制、公开传播、改变、散布、发⾏或公开发表阿⾥云⽹站、产品程序或内容。
阿里云与华为云的技术比较与优劣分析

阿里云与华为云的技术比较与优劣分析随着云计算市场不断发展,阿里云和华为云成为了中国云计算领域内的两大巨头。
阿里巴巴旗下的阿里云在成立十年间,已经成为世界五大云计算厂商之一,拥有多项技术专利,并为数百万企业提供了云计算服务。
而华为云则以其高效稳定的技术方案和长远的发展目标吸引了不少客户。
那么,阿里云和华为云之间有什么区别?它们的技术优劣如何呢?本文将对其进行比较分析。
1. 技术方案阿里云的技术方案主要包括容器服务、虚拟机、云数据库(RDS)、大数据和人工智能等。
其中,容器服务具有高可靠、弹性扩容等特点,是阿里云的核心产品之一。
而云数据库(RDS)则为用户提供了高效、稳定的数据库技术解决方案。
此外,阿里云还推出了人工智能平台PAI,为广大用户提供了便捷的人工智能应用工具。
而华为云的技术方案则主要包括云服务器、云存储、云数据库、弹性伸缩和云安全等。
与阿里云相比,华为云注重于提供稳定、高效的技术方案。
其云服务器采用全系Intel平台技术,具有高可靠、高性能等特点。
云存储则支持分布式存储、弹性扩缩、高可用等特性,可以为用户提供更加优质的服务体验。
2. 性能与稳定性对于云计算企业来说,性能和稳定性无疑是核心竞争力所在。
阿里云在云计算领域中的优势主要表现在稳定性、高可用性和性能方面。
阿里云的云服务器使用高性能的存储系统,可以实现98%以上的数据可靠性。
此外,阿里云还拥有全球超过1500个CDN节点资源,可以为企业提供更加优质的服务体验。
而华为云则注重于提供高效稳定的技术方案,保持着高品质的服务水平。
华为云的云服务器采用全系列Intel处理器技术,有效提高了服务器的性能和稳定性。
同时,华为云也提供了多种安全措施,例如DDoS防御方案、安全防火墙等,确保云计算平台的安全性。
3. 整体服务水平综合服务水平也是用户选择云计算企业的另一重要考虑因素。
阿里云的服务优势在于其完善的技术支持、灵活的付费模式和贴近企业业务需求的技术方案以及高效、稳定的性能表现。
阿里云人工智能aca认证考试大纲

阿里云人工智能ACA认证考试大纲涵盖了多个方面,以下是主要内容:
1. 人工智能概述:包括人工智能的定义、发展历程、应用领域等。
2. 深度学习神经网络基础:包括神经网络的基本原理、结构和功能、训练方法等。
3. TensorFlow基础:包括TensorFlow的基本概念、模型构建和训练、优化算法等。
4. 阿里云机器学习与深度学习开发平台PAI基础:包括PAI的功能、使用场景、使用方法等。
5. 阿里云人工智能API:包括阿里云提供的各种人工智能API的使用方法、接口文档、常见问题等。
6. 数据处理与分析:包括数据预处理、数据存储和管理、数据分析和挖掘等。
7. 自然语言处理:包括自然语言理解、文本生成、情感分析等。
8. 计算机视觉:包括图像识别、目标检测、人脸识别等。
9. 语音技术:包括语音合成、语音识别、语音转换等。
10. 机器学习实战项目:包括实际项目案例、数据集、工具和框架等。
以上是阿里云人工智能ACA认证考试大纲的主要内容,考生需要掌握相关知识和技能,以便在考试中取得好成绩。
阿里云物联网IoT生态产品介绍

阿里云IoT的发展
更便捷 更通用 更完善
2017.7
• 产品商业化
2017.10
• 支持NB-IoT设备接入
• 支持海外部署
2018.1
• 打通主流云产品
• 支持子设备接入
2018.4
• 发布设备管理平台
2018.7
• 融合边缘计算
• 国际站上线
2018.10
• 专有云或独立部署
物联 安全 智能 园区
德施曼 ID²智能云锁
鸿雁 “天际” 智慧灯杆
阿里云Link 物联网平台
太湖云计算 智能排水应用+绿色卫士智能终端
智能 城市
太湖云计算 智能排水应用 +绿色卫士智能终端
让城市的血管(地下管网)实时可视,风险及时预警
设备总成 大数据采集
追根溯源 自动报警
One more thing
如何让手写行为智能化?
笔迹互动缺失 远程教学受限 AI数据缺乏
阿里云Link魔笔 - 智能手写板
不改变书写体验 远程多端实时交互
实时采集笔迹
千万设备同时采集
同屏100+设备笔迹直播
阿里云Link魔笔 - 智能手写板
不改变书写体验 远程多端实时交互
实时采集笔迹
千万设备同时采集
同屏100+设备笔迹直播
多方合作共创智能手写解决方案
应用场景
教育
• 互动教学 • 双师讲堂 • 在线AI阅卷
办公
• 白板书写数字化 • 远程会议笔迹直播 • AI会议记录
医疗
• 病历数字化 • 医药厂问卷调查 • 板
庆科低功耗模组
阿里云定制H3C教育网关
ai产品介绍模板

ai产品介绍模板
AI产品介绍
一、产品概述
人工智能(AI)已成为当今世界最热门的话题之一。
作为一家领先的AI技
术公司,我们很高兴向您介绍我们的最新AI产品——[产品名称]。
[产品名称]是基于深度学习技术,结合大数据分析,为用户提供智能化的解决方案。
二、产品特点
1. 高效性:[产品名称]通过高效的算法和强大的计算能力,能够快速处理大量数据,为用户提供即时服务。
2. 智能化:[产品名称]具备自主学习和自我优化的能力,能够根据用户需求和环境变化进行智能调整,提高服务质量。
3. 安全性:[产品名称]采用了先进的加密技术和安全防护措施,确保用户数据的安全性。
4. 易用性:[产品名称]提供了友好的用户界面和操作指南,让用户轻松上手。
三、应用场景
[产品名称]适用于各种场景,如智能客服、智能家居、智能安防等。
通过与各行各业的结合,[产品名称]能够为用户提供更加智能化、高效化的服务体验。
四、总结
[产品名称]作为一款先进的AI产品,具备高效性、智能化、安全性和易用性等特点,能够为用户带来全新的服务体验。
我们相信,[产品名称]将成为您智能化生活的得力助手。
阿里云机器学习平台 PAI 产品与技术

阿里云机器学习平台PAI产品与技术——P latform of A rtificial I ntelligence高级产品专家刘吉哲AI机器学习深度学习123机器学习应用场景阿里云机器学习PAI技术框架解析淘宝、天猫商品个性化推荐机器学习帮助明源地产将客户转化比由10.7%提升到19.6%墨迹天气使用深度学习做短时天气预报根据雷达回波图预测区域天气使用机器学习预测阿尔兹海默症病情发展过程机器学习助力城市交通123机器学习应用场景阿里云机器学习PAI技术框架解析阿里云机器学习PAI 2.0丰富的算法异构计算资源调度拥抱新硬件:CPU+GPU混合调度✓数据/元数据统一✓基于作业特色的调度能力FPGA加速✓定制化算法✓定制化在线预测深度学习框架1TensorFlow多机多卡支持版本1.0,1.1,1.2,1.4华北-P100华东-M40 2Caffe支持版本RC33MXNet支持版本0.9.5印刷文字识别文本分析API123机器学习应用场景阿里云机器学习PAI技术框架解析电商推荐场景下大数据算法和技术挑战阿里电商推荐的业务特点✓最大场景达到百亿级别的PV/天✓亿级别用户维度和亿级别商品维度✓快速实时变化的用户兴趣和热门商品点击率预估算法和平台的挑战✓特征规模有限(10亿~100亿)难以刻画全网用户行为和商品特征点击率预估算法✓离线训练难以捕捉用户短期内兴趣模式阿里Parameter Server (鲲鹏,SIGKDD'17)支撑阿里集团最大规模的分布式算法训练服务广告、推荐、搜索等多个重要场景支撑PAI平台大规模算法✓Owlqn-LR:300亿特征,1千亿样本✓LDA:1万亿word -topic矩阵✓XFtrl、XNN:千亿特征流式学习Parameter Server 技术优化与效果 高效分布式通信✓支持1000+ Server 节点✓Sparse 、Dense 参数合并通信 由离线训练转向在线增量训练(Online Learning )✓将训练Job Service 化✓内存数据不落盘 全局checkpoint 和failover ✓Exactly Once Failover ✓单节异步Failover 优化效果 在手淘、天猫多个大规模推荐场景上线✓单场景1天100亿+训练样本,累积2000亿+特征✓500万Sample/s 迭代性能✓持续增量在线训练超过60天✓引导点击率和客单价显著提升多租户中的深度学习分布式作业的网络隔离lightw eightvmdocker runtim e paiw orker 0netw ork isolation…RDM Alightw eightvmdocker runtim epai w orker nTC P /IPjo b -0…jopba-in…w orker 0ww oorrkkeerr00S erver-0jo b -0 w orker n…S erver-njopba-in w orker nP hysicalN etw ork多租户中的深度学习分布式作业的GPU直通H ostK ernellightw eightvmdocker runtim epai w orkerP C IE P assthrough… G PUG PU08云端 I/O 性能优化:多线性+预取技术通信性能优化: gRPC 多线程说明: 优化点:底层gRPC handler 多线程并行处理 提升:64 卡提升1倍,128卡提升3+倍; 卡数量越多,性能提升越高;Ring AllReduce说明: 基于 Rendzvous; 支持gRPC、RDMA、NCCL等原生通信协议,扩展 方便; MPI 是框架,不是库。
阿里云架构介绍ppt课件

解决方案:弹性计算服务
• 提供云平台,免去中小企业的初始IT
投资
• 提供通用的、可定制的,且保证服务
质量的应用,大幅减少企业的运营开 销
• 企业IT人员可专注于业务应用的开发
创新
• 适用范围
• 利用云平台的协作能力和分析能力提
高企业的响应能力
– 中小企业:希望减少IT初期投资和运营开销,
• 专注于业务系统的使用及开发
– 新兴企业:形成业务价值链、产生更多的新 兴服务
目前产品
• 云主机 • 云建站
21
ALIYUN 存储-OSS
22
业务扩张,存储 需求激增
传统存储缺陷
数据丢失
配置、维护设备
权限泄露
资金短缺
23
24
阿里云存储的优势
安全、可靠 通用、便捷 存储容量可扩展 任何人都可以使用
价格低廉、按需付费
25
OSS SLA保障
27
OSS产品方案
28
OSS基础架构
29
用户场景一:图片分享
30
用户场景二:动漫图片渲染
• 最终用户数据的存储 • 企业级的大规模数据备份和存档
31
可行性案例分析
• 阿里云OSS提供与Amazon S3相同的公有云存储服务 • Amazon S3在国外支撑的企业有很多,阿里云OSS也可以
为相应服务提供支撑
关键点,做到“大道至简”。 • 大量自动热点聚焦的实时新闻,随时随地满足用户阅读资讯的需求。
音乐搜索 • 音乐搜索正在朝正版化和个性化推送服务进军,可在线视听和支付下载
地图搜索 • 阿里云地图服务是阿里云地图团队开发和支持的互联网地图应用,包括: • 基本地图应用() • 地图API(/jsdoc/)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
图灵测试示意图
人类提问者
人类回答者
图灵测试
-
1950
年全民换脸-2019
机器回答者
AI应用算法AI平台芯片
多样的挑战
门槛高海量数据
实验室到生产
成本高昂多样的用户通用开发者
专业用户(数据算法科学家)
行业用户
PAI 覆盖数据采集、开发建模、训
练、模型优化、模型部署、实验管理
机器学习全栈产品家族。
支持用户灵
活、自定义的机器学习需求
HOW WHAT
AI 产品家族
•PAI 积累大量的互联网的AI 业务场景
•业务同学专注于业务本身,由平台完成
高效的建模AI
自动化
用户业务(推荐系统、金融风控、视频分类、新闻分类、
疾病预测)PAI-EAS 在线预测•一键部署•高性能•蓝绿部署•弹性扩缩机器学习框架(Alink /MPI /PS /Graph /TensorFlow/PyTorch/Caffe…)
计算引擎(MaxCompute /E M R /实时计算)
阿里云容器服务(ACK )
基础硬件(CPU 、G P U 、FPGA 、N P U )可视化建模PAI-Studio •
200种算法组件•
拖拽方式构建实验•支持百亿特征样本
PAI-DSW 交互式建模•大数据引擎深度结合•优化的TensorFlow 、PyTorch •JupyterLab 、
WebIDE 、Terminal 编译优化PAI-Blade •多框架模型压缩优化•多种GPU 卡推理加速自动学习PAI AutoLearning •零门槛使用•迁移学习框架•一站式解决智能生态市场•AI 方案•算法&模型•
业务应用API AI”淘宝”平台数据采集
智能标注
•多场景模板:图像检
测、分割、综合标注
•
数据集管理•
主动学习*•智能预标注*
P AI 多功能内置PAI 优化的PAI-TF 、PAI-EAS…
灵活开放sudo 权限兼容社区插件多AI 编程模式
JupyterLab
WebIDE Terminal 简单易用开箱即用多训练框架多数据源机器学习产品家族,灵活的AI
交互式建模产品Kubernetes(ACK)
PAI DSW2.0M a x C o m p u t e Table Local Disk O S S
PAI-TensorFlow PyTorch TensorFlow
Framework PAI-IO PAI Core PAI-AutoML PAI-EasyVision PAI-Alink PAI-EAS JupyterLab JupyterLab Extensions WebIDE WebIDE Extensions Terminal
机器学习产品家族,
流批一体通用算法平台
丰富算法
支持批流算法
近350算法组件高性能算法组件性能整体优于SparkML 易用可视化建模数十种数据源
20谢谢聆听!。