检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce服务 MRS：提供Hudi、Doris、Spark、HBase、Flink、Clickhouse、Hadoop等开源大数据组件，支持湖仓一体、灵活的弹性控制能力。
192.168.3.11 父主题： 车联网大数据零丢失搬迁入湖
文档使用范围 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导，以及HDFS数据迁移至对象存储服务OBS的方案。 父主题： 大数据场景下使用OBS实现存算分离
DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座，例如MRS Hive、数据仓库服务DWS等，也支持对接企业传统数据仓库，例如Oracle、MySQL等。
导出API 功能介绍 导出分组下API的定义信息，导出文件内容符合swagger标准规范。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。
MQTT CONNECT连接鉴权 接口功能 设备发放平台设备侧支持MQTT协议的connect消息接口，接口规范参考MQTT标准规范，鉴权通过后建立设备与平台间的MQTT连接。
其中固定报头（Fixed header）和可变报头（Variable header）格式的填写请参考MQTT标准规范，有效载荷（Payload）的格式（须使用UTF-8编码格式）由应用定义，即由设备和物联网平台之间定义。 MQTT的语法和接口细节，请以MQTT标准规范为准。
外置数据连接：可以为MRS集群选择关联与当前MRS集群同一虚拟私有云和子网的外置数据连接。元数据将存储于关联的数据库中，不会随当前集群的删除而删除，多个MRS集群可共享同一份元数据。
MQTT CONNECT连接鉴权 接口功能 设备发放平台设备侧支持MQTT协议的connect消息接口，接口规范参考MQTT标准规范，鉴权通过后建立设备与平台间的MQTT连接。
连接成功后，需要在Edge上分别添加源端MRS HBase凭证和目的端MRS HBase凭证，类型选择“大数据-HBase”，认证方式选择“用户名/密钥”。凭证的添加方法请参考添加资源凭证。
连接成功后，需要在Edge上分别添加源端 MRS Doris凭证和目的端MRS Doris凭证，类型选择“大数据-Doris”，认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”，进入大数据血缘页面。
库表采集 左侧导航栏依次选择单击资源管理、库表管理、采集元数据，配置所需要的数据源表， 并依照数据标准规范，合理命名元数据名称，以及代码等项，将采集到的数据资源进行复制至部门资源库，找到部门资源库对应库表物化库表资源，最后通过数据桥接同步对应库表数据。
高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRS-Kafka、DMS-Kafka消费数据，单CU每秒吞吐1千~2万条消息。 细粒度权限管理：P公司内部有N个子部门，子部门之间需要对数据进行共享和隔离。
导出自定义后端API 功能介绍 导出自定义后端API，导出文件内容符合swagger标准规范。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。
规范设计 配置中心 流程设计 主题设计 码表管理 数据标准 关系建模 业务指标 技术指标 维度建模 父主题： 实施步骤
是否有允许值列表：如是，则列出可选的允许值，例如性别属性中，除了性别的信息外，不允许出现其他信息； 允许值范围：定义如果存在允许值，对允许值得范围做出规定，如性别属性中，允许值为男和女或使用代码形式代表男和女； 参照的标准：该标准参考的行业外部或者内部公开发布的标准规范，如GB
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后，系统还需要根据实际权限管理配置，选择是否对用户进行鉴权，确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足，需要由系统管理员为用户授予各个组件对应的权限后，才能访问资源。
有效载荷（Payload）中的主要参数填写：为完整的数据上报和命令下发的消息内容，目前是一个JSON对象。 Topic说明 设备发放平台作为消息接收方时，已默认订阅了相关Topic，设备只要向对应Topic发送消息，设备发放平台就可以接收。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
