大数据应用范围有哪些
人工智能应用
场景概述
2016年AlphaGo横空出世,4:1战胜李世石,17年又以3:0战胜世界围棋冠军柯洁,此后三年,星际,Dota2,德州扑克等均涌现出超高水平AI。人工智能应用在其中起到了不可替代的作用。
游戏智能体通常采用深度强化学习方法,从0开始,通过与环境的交互和试错,学会观察世界、执行动作、合作与竞争策略。每个AI智能体是一个深度神经网络模型,主要包含如下步骤:
1、通过GPU分析场景特征(自己,视野内队友,敌人,小地图等)输入状态信息(Learner)。
2、根据策略模型输出预测的动作指令(Policy)。
3、通过CPU单线程模拟玩家,每个玩家(Actor)执行不同的策略。
4、不同策略对应不同结果,不同结果产生不同的Reward(奖励分数)。
5、该奖励分数作为参数用来更新策略模型,再进行新一轮学习。
客户瓶颈
1、实时性与长期性:AI不仅要做出实时的操作决策,还要做出长期的规划决策,通常对于游戏时间30分钟左右的STG游戏,对应的决策步数(Policy)超过7000步,这意味着Actor执行Policy的时间成本较高。
2、复杂的动作空间:玩家需要同时操作移动方向、视角方向、攻击、姿态(站、蹲、趴、跳、跑)、交互(救人、拾取、换弹)等操作,产生复杂的组合动作空间,可行动作数量在10^7量级。对于CPU计算能力要求较高。
3、训练任务快速部署:客户进行AI强化学习时,需要短时间(10mins)拉起上万核CPU,对动态扩容能力要求较高。
竞享实例的应用
该AI学习引擎采用竞享实例提供CPU资源。得益于竞享实例的快速扩容与成本优势,引擎可以短时间生成超大规模AI(Actor)同时执行更多的策略,缩短模拟时间。而凭借竞享实例的强劲性能(全系C类型)该引擎训练一天相当于人类玩家打10万年。
图1 人工智能应用架构图
Learner:学习集群,一般是多个GPU显卡组成训练集群
Actor:采用竞享实例提供CPU,每个线程作为一个AI玩家,用于测试策略的执行效果
Policy:Learner的输出结果,游戏AI的策略
Reward:Actor的执行结果的反馈,提供给Learner
大数据应用范围有哪些
大数据应用范围有哪些
华为云大数据相关技术与产品服务
华为云大数据相关技术与产品服务
- 大数据计算
- 大数据搜索与分析
- 大数据治理与开发
- 数据可视化
- 大数据应用
- 数据平台
MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。
实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力, 简单易用, 即时执行Stream SQL或自定义作业。无需关心计算集群, 无需学习编程技能。完全兼容Apache Flink和Spark API
数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值
数据仓库服务 GaussDB(DWS)实时、简单、安全可信的企业级融合数据仓库,可借助DWS Express将查询分析扩展至数据湖。基于华为GaussDB产品的云原生服务,兼容标准SQL和PostgreSQL/Oracle生态
华为云可信智能计算服务( TICS,Trusted Intelligent Computing Service )面向政企行业, 打破跨行业的数据孤岛, 实现行业内部、跨行业之间在数据隐私保护下的多方数据联合分析和联邦计算能力,基于可信硬件执行环境TEE、安全多方计算MPC、区块链等技术, 实现数据在存储、流通、计算过程中端到端的安全和可审计, 推动跨行业的可信数据融合和协同。
表格存储服务(CloudTable)是基于Apache HBase提供的全托管NoSQL服务,集成时序、时空数据存储特性,可提供千万级TPS以及毫秒级随机读写能力。可被广泛应用于物联网、车联网、金融、智慧城市、气象等行业。
数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。
数据接入服务(Data Ingestion Service,简称DIS)可让您轻松收集、处理和分发实时流数据,以便您对新信息快速做出响应。DIS对接多种第三方数据采集工具,提供丰富的云服务Connector及Agent/SDK。适用于IoT、互联网、媒体等行业的设备监控、实时推荐、日志分析等场景。
云数据迁移(Cloud Data Migration,简称CDM),是提供同构/异构数据源之间批量数据迁移服务,帮助客户实现数据自由流动。支持文件系统,关系数据库,数据仓库,NoSQL,大数据云服务和对象存储等数据源,无论是客户自建还是公有云上的数据源
数据可视化服务(Data Lake Visualization)是一站式数据可视化平台,适配云上云下多种数据源,提供丰富多样的2D、3D可视化组件,采用拖拽式自由布局,旨在帮助您快速定制和应用属于您自己的数据大屏
大数据技术与应用要学习什么课程
课程结合实践,借助配套的实验环境,一站式学练考,轻松Get新知识