检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
支持的大数据平台简介 华为云大数据存算分离方案中,OBS支持与多种大数据平台对接,包括华为云MapReduce服务(MRS)、Cloudera CDH和Hortonworks HDP,满足用户业务的灵活诉求。 华为云MapReduce服务(MRS) 华为云MapReduce服务(M
数据平台和可视化服务 创建API 查询API列表 修改API信息 删除API 获取可视化应用列表 大屏列表 根据Domain id删除所有Domain数据 状态分布 云服务状态数据块 父主题: API
数据开发平台 数据源 视频源 数据连接器 数据图书馆 数据交换机 数据分析仪 数据大屏-启动大屏配置 数据服务 父主题: 实施步骤
DMAP元数据平台 EA元模型介绍
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平
调研大数据平台及业务的架构图及数据流图,如下图: 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式(如:实时数据上报、批量数据抽取)。 分析大数据平台数据流向,数据在平台内各个组件间的流向,例如:数据采集组件类型、采集组件下一层、存储数据组件,数据处理过程中的工作流等。
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性,迁移前需要掌握现有集群的详细信息,以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图(包括峰值和均值流量等)。 识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。
开放平台接口 快速入门 服务端API 前端API 连接器使用指导
数据治理平台 数据平台总体架构 本项目一期以离线数据分析为主,按照华为云数据使能方案的离线数据湖子方案,以华为公有云为载体,为客户建设离线数据湖平台,作为本次项目数据分析应用的数据底座。 离线数据湖平台整体架构如下,核心由三个云服务组成,大数据平台MRS、数据仓库平台DWS、数据集成治理平台DataArts
根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务
数据集成 数据集成普通任务 数据集成组合任务
HIVE:HIVE数据源 MRSHBASE:MRS HBASE数据源 MRSHDFS:MRS HDFS数据源 MRSHIVE:MRS HIVE数据源 MRSKAFKA:MRS KAFKA数据源 MRSREDIS:MRS REDIS数据源 MRSCLICKHOUSE:MRS CLICKHOUSE数据源
订阅平台管理数据 典型场景 第三方应用可向物联网平台订阅设备相关的管理数据,当物联网平台中设备进行版本升级等相关操作时,平台会向第三方应用发送通知消息,知会其具体的操作状态或操作结果信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备升级操作通知。 接口功能 支持第三方应
订阅平台管理数据 接口说明 应用服务器可调用此接口向物联网平台订阅设备相关的管理数据,当设备进行版本升级等相关操作时,平台会向应用服务器发送通知消息,知会其具体的操作状态或操作结果信息。 URI 请求方法 POST URI /iodm/app/sub/v1.1.0/subscribe
订阅平台业务数据 典型场景 第三方应用可在物联网平台订阅设备相关的业务数据,当物联网平台中设备的业务信息发生变化时(如设备注册、设备数据上报、设备状态变更等),平台会向第三方应用发送通知消息,通知其具体的变化信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备业务变更通知。
订阅平台业务数据 接口说明 应用服务器可调用此接口在物联网平台订阅设备相关的业务信息,当设备的业务信息发生变化时(如设备注册、设备数据上报、设备状态变更等),平台会向应用服务器发送通知消息。 URI 请求方法 POST URI /iocm/app/sub/v1.2.0/subscriptions
数据管理(旧版) 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
元数据管理 当创建MRS集群选择部署Hive和Ranger组件时,MRS提供多种元数据存储方式,您可以根据自身需要进行选择: 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据连接:MRS集