温馨提示
恭喜您,订阅成功!
温馨提示
抱歉,订阅失败,请稍后再试!
温馨提示
您还未绑定邮箱,需要绑定邮箱才能订阅哦!订阅成功后,订阅信息会发送到您绑定的邮箱。
温馨提示
请您在新打开的页面绑定邮箱!
注意:绑定邮箱完成前,请不要关闭此窗口!

大数据应用范围有哪些

人工智能应用

场景概述

2016年AlphaGo横空出世,4:1战胜李世石,17年又以3:0战胜世界围棋冠军柯洁,此后三年,星际,Dota2,德州扑克等均涌现出超高水平AI。人工智能应用在其中起到了不可替代的作用。

游戏智能体通常采用深度强化学习方法,从0开始,通过与环境的交互和试错,学会观察世界、执行动作、合作与竞争策略。每个AI智能体是一个深度神经网络模型,主要包含如下步骤:

1、通过GPU分析场景特征(自己,视野内队友,敌人,小地图等)输入状态信息(Learner)。

2、根据策略模型输出预测的动作指令(Policy)。

3、通过CPU单线程模拟玩家,每个玩家(Actor)执行不同的策略。

4、不同策略对应不同结果,不同结果产生不同的Reward(奖励分数)。

5、该奖励分数作为参数用来更新策略模型,再进行新一轮学习。

客户瓶颈

1、实时性与长期性:AI不仅要做出实时的操作决策,还要做出长期的规划决策,通常对于游戏时间30分钟左右的STG游戏,对应的决策步数(Policy)超过7000步,这意味着Actor执行Policy的时间成本较高。

2、复杂的动作空间:玩家需要同时操作移动方向、视角方向、攻击、姿态(站、蹲、趴、跳、跑)、交互(救人、拾取、换弹)等操作,产生复杂的组合动作空间,可行动作数量在10^7量级。对于CPU计算能力要求较高。

3、训练任务快速部署:客户进行AI强化学习时,需要短时间(10mins)拉起上万核CPU,对动态扩容能力要求较高。

竞享实例的应用

该AI学习引擎采用竞享实例提供CPU资源。得益于竞享实例的快速扩容与成本优势,引擎可以短时间生成超大规模AI(Actor)同时执行更多的策略,缩短模拟时间。而凭借竞享实例的强劲性能(全系C类型)该引擎训练一天相当于人类玩家打10万年。

图1 人工智能应用架构图

Learner:学习集群,一般是多个GPU显卡组成训练集群

Actor:采用竞享实例提供CPU,每个线程作为一个AI玩家,用于测试策略的执行效果

Policy:Learner的输出结果,游戏AI的策略

Reward:Actor的执行结果的反馈,提供给Learner

大数据应用范围有哪些

大数据应用范围有哪些

华为云大数据相关技术与产品服务

华为云大数据相关技术与产品服务

  • 大数据计算
  • 大数据搜索与分析
  • 大数据治理与开发
  • 数据可视化
  • 大数据应用
  • 数据平台
MapReduce服务
支持多应用场景集群

MapReduce服务MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。

实时流计算服务 CS
简单易用、独享集群、按需计费、高吞吐低时延

实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力, 简单易用, 即时执行Stream SQL或自定义作业。无需关心计算集群, 无需学习编程技能。完全兼容Apache Flink和Spark API

数据湖探索

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值

数据仓库服务

数据仓库服务 GaussDB(DWS)实时、简单、安全可信的企业级融合数据仓库,可借助DWS Express将查询分析扩展至数据湖。基于华为GaussDB产品的云原生服务,兼容标准SQL和PostgreSQL/Oracle生态

可信智能计算服务

华为云可信智能计算服务( TICS,Trusted Intelligent Computing Service )面向政企行业, 打破跨行业的数据孤岛, 实现行业内部、跨行业之间在数据隐私保护下的多方数据联合分析和联邦计算能力,基于可信硬件执行环境TEE、安全多方计算MPC、区块链等技术, 实现数据在存储、流通、计算过程中端到端的安全和可审计, 推动跨行业的可信数据融合和协同。

表格存储服务

表格存储服务(CloudTable)是基于Apache HBase提供的全托管NoSQL服务,集成时序、时空数据存储特性,可提供千万级TPS以及毫秒级随机读写能力。可被广泛应用于物联网、车联网、金融、智慧城市、气象等行业。

云搜索服务

云搜索服务是一个基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本的多条件检索、统计、报表。完全兼容开源Elasticsearch软件原生接口。它可以帮助网站和APP搭建搜索框,提升用户寻找资料和视频的体验;还可以搭建日志分析平台,在运维上进行业务日志分析和监控,在运营上进行流量分析等等。

日志分析服务

日志分析服务(Log Analysis Service, 简称LOG)一站式海量实时日志分析服务,提供日志实时采集、智能分析与可视化、转储等功能。提供端到端的快速、易用、丰富的日志分析平台

数据湖治理中心

数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。

数据接入服务

数据接入服务(Data Ingestion Service,简称DIS)可让您轻松收集、处理和分发实时流数据,以便您对新信息快速做出响应。DIS对接多种第三方数据采集工具,提供丰富的云服务Connector及Agent/SDK。适用于IoT、互联网、媒体等行业的设备监控、实时推荐、日志分析等场景。

云数据迁移

云数据迁移(Cloud Data Migration,简称CDM),是提供同构/异构数据源之间批量数据迁移服务,帮助客户实现数据自由流动。支持文件系统,关系数据库,数据仓库,NoSQL,大数据云服务和对象存储等数据源,无论是客户自建还是公有云上的数据源

数据可视化

数据可视化服务(Data Lake Visualization)是一站式数据可视化平台,适配云上云下多种数据源,提供丰富多样的2D、3D可视化组件,采用拖拽式自由布局,旨在帮助您快速定制和应用属于您自己的数据大屏

推荐系统

推荐系统(Recommender System),基于华为大数据和人工智能技术,提供全流程一站式推荐平台,协助企业轻松构建个性化推荐应用,致力于提升企业应用的点击率、留存率和用户体验。

数据使能【解决方案】

数据使能结合华为数字化转型实践和30多年在ICT基础设施领域积累的技术,携手行业合作伙伴,为客户提供一站式数据全生命周期管理解决方案,打造“全域、服务化、资产化、智能、安全”的数据体系,释放数据价值

智慧空管数据使能解决方案

智慧空管数据使能解决方案结合华为优秀数据实践验证的方法论及丰富的数据管理工具,华为云为空管客户提供 “方法论+管理体系+技术平台+应用场景”的组合服务,在塔台管制、进近管制、区域管制、流量管理等空管业务上,提供一站式数据全生命周期管理解决方案,打造“全域、服务化、资产化、智能、安全”的数据体系,为空管数字化转型提供支撑

大数据计算
MapReduce服务
支持多应用场景集群

MapReduce服务MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。

实时流计算服务 CS
简单易用、独享集群、按需计费、高吞吐低时延

实时流计算服务(Cloud Stream Service, 简称CS)提供实时处理流式大数据的全栈能力, 简单易用, 即时执行Stream SQL或自定义作业。无需关心计算集群, 无需学习编程技能。完全兼容Apache Flink和Spark API

数据湖探索

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。企业使用标准SQL、Spark、Flink程序就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值

数据仓库服务

数据仓库服务 GaussDB(DWS)实时、简单、安全可信的企业级融合数据仓库,可借助DWS Express将查询分析扩展至数据湖。基于华为GaussDB产品的云原生服务,兼容标准SQL和PostgreSQL/Oracle生态

可信智能计算服务

华为云可信智能计算服务( TICS,Trusted Intelligent Computing Service )面向政企行业, 打破跨行业的数据孤岛, 实现行业内部、跨行业之间在数据隐私保护下的多方数据联合分析和联邦计算能力,基于可信硬件执行环境TEE、安全多方计算MPC、区块链等技术, 实现数据在存储、流通、计算过程中端到端的安全和可审计, 推动跨行业的可信数据融合和协同。

表格存储服务

表格存储服务(CloudTable)是基于Apache HBase提供的全托管NoSQL服务,集成时序、时空数据存储特性,可提供千万级TPS以及毫秒级随机读写能力。可被广泛应用于物联网、车联网、金融、智慧城市、气象等行业。

大数据搜索与分析
云搜索服务

云搜索服务是一个基于Elasticsearch且完全托管的在线分布式搜索服务,为用户提供结构化、非结构化文本的多条件检索、统计、报表。完全兼容开源Elasticsearch软件原生接口。它可以帮助网站和APP搭建搜索框,提升用户寻找资料和视频的体验;还可以搭建日志分析平台,在运维上进行业务日志分析和监控,在运营上进行流量分析等等。

日志分析服务

日志分析服务(Log Analysis Service, 简称LOG)一站式海量实时日志分析服务,提供日志实时采集、智能分析与可视化、转储等功能。提供端到端的快速、易用、丰富的日志分析平台

大数据治理与开发
数据湖治理中心

数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。

数据接入服务

数据接入服务(Data Ingestion Service,简称DIS)可让您轻松收集、处理和分发实时流数据,以便您对新信息快速做出响应。DIS对接多种第三方数据采集工具,提供丰富的云服务Connector及Agent/SDK。适用于IoT、互联网、媒体等行业的设备监控、实时推荐、日志分析等场景。

云数据迁移

云数据迁移(Cloud Data Migration,简称CDM),是提供同构/异构数据源之间批量数据迁移服务,帮助客户实现数据自由流动。支持文件系统,关系数据库,数据仓库,NoSQL,大数据云服务和对象存储等数据源,无论是客户自建还是公有云上的数据源

数据可视化
数据可视化

数据可视化服务(Data Lake Visualization)是一站式数据可视化平台,适配云上云下多种数据源,提供丰富多样的2D、3D可视化组件,采用拖拽式自由布局,旨在帮助您快速定制和应用属于您自己的数据大屏

大数据应用
推荐系统

推荐系统(Recommender System),基于华为大数据和人工智能技术,提供全流程一站式推荐平台,协助企业轻松构建个性化推荐应用,致力于提升企业应用的点击率、留存率和用户体验。

数据平台
数据使能【解决方案】

数据使能结合华为数字化转型实践和30多年在ICT基础设施领域积累的技术,携手行业合作伙伴,为客户提供一站式数据全生命周期管理解决方案,打造“全域、服务化、资产化、智能、安全”的数据体系,释放数据价值

智慧空管数据使能解决方案

智慧空管数据使能解决方案结合华为优秀数据实践验证的方法论及丰富的数据管理工具,华为云为空管客户提供 “方法论+管理体系+技术平台+应用场景”的组合服务,在塔台管制、进近管制、区域管制、流量管理等空管业务上,提供一站式数据全生命周期管理解决方案,打造“全域、服务化、资产化、智能、安全”的数据体系,为空管数字化转型提供支撑

大数据技术与应用要学习什么课程

课程结合实践,借助配套的实验环境,一站式学练考,轻松Get新知识

【初级】球星薪酬决定性因素分析

随着大数据、云计算的发展,数据规模也随之扩大,也更加关注数据的存放、处理以及分析。利用数据仓库服务,带您探索球星薪酬影响的决定性因素。

数据仓库服务结合Python对球星薪酬进行分析,探索影响球星薪酬的决定性因素

适合人群:对大数据技术感兴趣的人员,社会大众和高校师生 培训方案:数据仓库服务结合球星薪酬决定性因素分析的实践 技术能力:掌握数据仓库服务等云服务的使用,提高大数据分析能力 认证价值:了解数据仓库服务,通过实践提升大数据分析的能力

【初级】基于流计算的双十一大屏开发案例

面对每天大量的实时数据,及时、高效的处理这些数据显得十分必要。本课程主要介绍如何搭建一个可视化大屏,为企业提供精准、高效的支持。

基于流计算的可视化大屏,为企业、政府带来全新的视觉体验

适合人群:面向对实时流计算和可视化感兴趣的从业人员,社会大众和高校师生

培训方案:结合华为云服务搭建基于流计算的可视化平台

技术能力:了解流计算的关键技术,掌握华为云基于流计算的可视化解决方案

认证价值:掌握基于流计算的可视化平台搭建,实时展现业务成果,帮助企业办公效率的快速提升

【中级】车联网大数据驾驶行为分析

作为智能交通的基础,车联网的应用预示着工业技术,交通效率,出行方式的重大改变。微认证为您揭秘车联网大数据背后的密码,实现科学高效的车队管理。

车联网解决方案深度解析,车辆驾驶行为的数据模拟实践,探索车联网大数据序列奥秘

适合人群:车联网/大数据行业相关的开发、运维工程师,以及社会大众,高校师生

培训方案:通过华为车联网解决方案的深入解析完成对驾驶行为的大数据分析实践

技术能力: 通过车联网系统架构学习与实践操作提升数据分析挖掘、大数据开发能力

认证价值:了解车联网的发展理念,通过大数据分析实现科学高效的车队管理

【中级】逃杀游戏数据分析

随着电竞行业的火热发展,用户数据分析成为急需解决的问题。借助大数据平台服务进行数据分析,能妥善处理海量的用户数据,帮助游戏厂商和俱乐部进行更好的战略决策。

电竞行业解决方案深度解析,逃杀游戏用户行为的数据模拟实战,带你解密大数据

适合人群:对大数据技术感兴趣的人员、社会大众和高校师生

培训方案:利用华为云服务中大数据平台服务,实现逃杀游戏数据离线分析与可视化

技术能力:了解MRS、CloudIDE等技术,端到端掌握利用大数据平台进行数据处理分析流程

认证价值:通过游戏行业和大数据平台结合应用,实现海量游戏数据的分析处理

【中级】黑色星期五消费者行为研究

大数据时代消费者行为复杂多样,通过对消费者行为进行数据分析,找寻其中的变化规律,对用户进行定位进而优化销售方式。

通过对消费者的购买行为数据分析,对用户进行定位以及对销售方式进行优化

适合人群:对大数据技术感兴趣的人员,社会大众和高校师生

培训方案:大数据离线解决方案理论结合黑色星期五消费者行为的实践

技术能力:掌握大数据离线处理开发流程,提高大数据开发能力

认证价值:了解大数据的前世今生,通过实践提升大数据分析的能力

【中级】网站消费者行为分析

大数据时代背景下,用户消费数据暗藏许多商机。通过网站用户消费行为分析实践,了解华为云大数据产品的使用方法,帮助商户发掘潜在客户。

通过网站用户消费行为分析实践,了解华为云大数据产品的使用方法

适合人群:大数据行业的开发工程师,社会大众和高校师生

培训方案:学习华为MRS相关技术,进行用户消费行为分析实践

技术能力:了解华为MRS相关技术,了解用户消费行为分析流程

认证价值:了解网站用户消费行为思路及相关技术原理,提升大数据分析的能力