检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（M
新建数据标准 数据标准是用于描述公司层面需共同遵守的数据含义和业务规则，它描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，是不可再分的最小数据单元。您可
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
平台对接数据格式有哪些要求？ 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题： 数据服务常见问题
数据治理平台 数据平台总体架构 本项目一期以离线数据分析为主，按照华为云数据使能方案的离线数据湖子方案，以华为公有云为载体，为客户建设离线数据湖平台，作为本次项目数据分析应用的数据底座。 离线数据湖平台整体架构如下，核心由三个云服务组成，大数据平台MRS、数据仓库平台DWS、数据集成治理平台DataArts
数据管理（旧版） 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
数据治理平台部署 将前端上传至服务器/usr/local/web下两个前端包 yunpi-base-mgr yunpi-data-govern 将后端包上传至服务器 修改配置信息将请求后端网关地址进行修改 Vim config.js 图1 上传 /usr/usr/local/jar下修改jar服务配置文件
订阅平台管理数据 典型场景 第三方应用可向物联网平台订阅设备相关的管理数据，当物联网平台中设备进行版本升级等相关操作时，平台会向第三方应用发送通知消息，知会其具体的操作状态或操作结果信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备升级操作通知。 接口功能 支持第三方应
订阅平台管理数据 接口说明 应用服务器可调用此接口向物联网平台订阅设备相关的管理数据，当设备进行版本升级等相关操作时，平台会向应用服务器发送通知消息，知会其具体的操作状态或操作结果信息。 URI 请求方法 POST URI /iodm/app/sub/v1.1.0/subscribe
订阅平台管理数据 典型场景 第三方应用可向物联网平台订阅设备相关的管理数据，当物联网平台中设备进行版本升级等相关操作时，平台会向第三方应用发送通知消息，知会其具体的操作状态或操作结果信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备升级操作通知。 接口功能 支持第三方应
数据质量 质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
订阅平台业务数据 典型场景 第三方应用可在物联网平台订阅设备相关的业务数据，当物联网平台中设备的业务信息发生变化时（如设备注册、设备数据上报、设备状态变更等），平台会向第三方应用发送通知消息，通知其具体的变化信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备业务变更通知。
订阅平台业务数据 接口说明 应用服务器可调用此接口在物联网平台订阅设备相关的业务信息，当设备的业务信息发生变化时（如设备注册、设备数据上报、设备状态变更等），平台会向应用服务器发送通知消息。 URI 请求方法 POST URI /iocm/app/sub/v1.2.0/subscriptions
订阅平台业务数据 典型场景 第三方应用可在物联网平台订阅设备相关的业务数据，当物联网平台中设备的业务信息发生变化时（如设备注册、设备数据上报、设备状态变更等），平台会向第三方应用发送通知消息，通知其具体的变化信息。第三方应用可以调用此接口向物联网平台订阅不同类型的设备业务变更通知。
平台标准组件介绍 标准页面组件入门 页面 分栏 表单 表格 表格（新） 列表视图 图片 二维码 分页 模态框 输入框 下拉框 按钮 上传 面包屑 视频播放 BPM相关组件 父主题： 标准页面
元数据管理 当创建MRS集群选择部署Hive和Ranger组件时，MRS提供多种元数据存储方式，您可以根据自身需要进行选择： 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接：MRS集
根据数据源类型的不同，数据源的接入配置有所差异，具体如下表所示。接入数据源后，单击数据源名称可以查看数据源详情，数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景，建议使用数据复制服务
HIVE：HIVE数据源 MRSHBASE：MRS HBASE数据源 MRSHDFS：MRS HDFS数据源 MRSHIVE：MRS HIVE数据源 MRSKAFKA：MRS KAFKA数据源 MRSREDIS：MRS REDIS数据源 MRSCLICKHOUSE：MRS CLICKHOUSE数据源
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。
数据集成 数据集成普通任务 数据集成组合任务
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示： 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考，同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”；数据标准为主数据管理提供主数据定义的基准，数据标准也是数据质
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
