检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
先到管理中心模块中建立数据连接。 针对通过代理连接的MRS Hive，需要选择MRS API方式或者代理方式提交： MRS API方式：通过MRS API的方式提交。历史作业默认是MRS API提交，编辑作业时建议不修改。 代理方式：通过用户名、密码访问的方式提交。新建作业建议选
数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 最长等待时间 是 HTTP消息的最长等待时间。若超时未收到消息，作业会被停止，节点状态置为取消。 最长等待时间的取值为1-24小时，默认为24小时。超过设置的最长等待时间，该节点及后续节点取消运行。
MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接：以MRS API的方式访问MRS集群。MRS API连接仅支持2.X及更高版本的MRS集群。 选择MRS API连接时，有以下约束： MRS API连接仅支持在数据开发组件使用，其他组件例如数据架构、数据质量、数据目录等无法使用此连接。
Hive配置的白名单，需要配置以下配置项参数，单击保存，滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面，在基础配置里面配置该参数。具体操作如下： 登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“Hive
表1 实时增量数据迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 关系型数据 MySQL Hadoop：MRS Hudi 消息系统：DMS Kafka 数据仓库：DWS SQLServer Hadoop：MRS Hudi 说明： 该链路目前需申请白名单后才能使用。
非关系型数据库：MongoDB、Redis 消息系统：DMS Kafka 搜索：Elasticsearch 其他：Rest Client 分库分表同步支持的数据源类型 分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。 支持分库分表同步的数据源如下所示：
在数据开发主界面的左侧导航栏，选择“运维调度 > 通知管理”。 选择“通知管理”页签进入查看基线运行的所有消息通知信息，包含基线名称、通知类型和消息通知主题等。 图2 消息通知列表 选择“通知记录”页签进入查看基线运行的所有通知记录信息。 图3 基线运行记录 通知管理的详细信息请参见通知管理。
Studio实例下支持创建的专享版API最大数量由数据服务专享版API总分配配额（默认为5000）和当前实例下集群的API规格总和共同决定，取较小的作为限制。例如，某DataArts Studio实例下的数据服务专享版API总分配配额为5000，已分别创建了API规格为500和2000的两
的调度信息。详情请参见实时作业监控：事件驱动调度节点调度配置。 11 清除通道消息 单击作业名称，进入“作业监控”详情页面后，右键单击配置有事件驱动调度的节点，选择“清除通道消息”，您可以清除通道消息。 12 查看日志 对于Flink SQL和Flink JAR两种实时处理的单任务作业，作业运行完成后，可以通过“更多
配置Hive源端参数 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD
MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接：以MRS API的方式访问MRS集群。MRS API连接仅支持2.X及更高版本的MRS集群。 选择MRS API连接时，有以下约束： MRS API连接仅支持在数据开发组件使用，其他组件例如数据架构、数据质量、数据目录等无法使用此连接。
积极拥抱数据资产入表新时代 在当前数字化的浪潮下，数据已经成为劳动力、土地、知识、技术以后的第五大生产要素，“数据即资产”已成为共识。 2024年1月1日起，财政部于2023年8月印发的《企业数据资源相关会计处理暂行规定》将正式实施。数据资产入表已进入倒计时，备受关注的数据要素市场有望被真正激活。
的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅
终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 - 访问标识(AK) 登录DIS服务器的访问标识。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 - 密钥(SK) 登录DIS服务器的密钥。 您
ClientAliveInterval指定了服务器端向客户端请求消息的时间间隔，默认是0，不发送请求。然而ClientAliveInterval 300表示五分钟发送一次，然后客户端响应，这样就保持长连接了。ClientAliveCountMax的默认值3。ClientAliveCountMax表示服务器发出请求
管理操作，直接进入脚本开发或作业开发。 数据管理的使用流程如下： 图1 数据管理流程 创建数据连接，连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务，新建数据库。具体请参见新建数据库。 如果是DWS连接，则需要新建数据库模式；否则直接新建数据表。具体请参见（可选）新建数据库模式。
访问时延，不建议使用。 云服务之间的关系 如果多个云服务一起搭配使用，需要注意不同区域的云服务内网不互通。 例如DataArts Studio（包括管理中心、CDM等组件）需要与MRS、OBS等服务互通时，如果DataArts Studio与其他云服务处于不同区域的情况下，需要通
DataArts Studio服务各组件功能所需依赖服务的权限如表2所示。在实际授权场景中，推荐为开发者用户配置DataArts Studio服务级别的依赖服务最小权限（可参考如何最小化授权IAM用户使用DataArts Studio，为用户配置最小权限），开发者用户的最小依赖服务权限如表3所示。
会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
