检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式 Hadoop类型连接 集群配置文件获取方式 Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase
心模块中建立数据连接。 针对通过代理连接的MRS Hive，需要选择MRS API方式或者代理方式提交： MRS API方式：通过MRS API的方式提交。历史作业默认是MRS API提交，编辑作业时建议不修改。 代理方式：通过用户名、密码访问的方式提交。新建作业建议选择代理提交，可以避免权限问题导致的作业提交失败。
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 cdm 自动建表模式 是否自动创建Hudi表。 一键建表：通过自动建表方式自动创建目的端表。
用户组。 创建用户并加入用户组的具体操作，请参见创建用户并加入用户组。 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。 为“DAYU User”系统角色用户自定义工作空间角色，并将其添加到工作空间成员、配置角色。
GBase SQL 功能 通过GBase SQL节点传递SQL语句到GBase中执行。 参数 用户可参考表1和表2配置GBase SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”
RDS SQL 功能 通过RDS SQL节点传递SQL语句到RDS中执行。 参数 用户可参考表1和表2配置RDS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。
基础与网络连通配置 连接方式 是 选择所需的连接方式，推荐使用“通过代理连接”。 通过代理连接：通过Agent（即CDM集群）进行代理，以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接：以MRS API的方式访问MRS集群。MRS
”直接输入。 通过工具自动生成JSON格式的消息：单击“生成JSON消息”，在弹出的对话框中填写“消息”和选择“协议”。 模板消息：按模板格式发送的消息，即固定格式的消息，可以通过tag的方式来处理变量的部分。 手动输入模板格式的消息：在“消息内容”直接输入。 通过工具自动生成模
二进制格式适用于文件迁移场景。 CSV格式 换行符处理方式 指定在写入文本文件表的数据包含换行符，特指(\n|\r|\r\n)的情况下处理换行符的策略。 删除 不处理 替换为其他字符串 删除 换行符替换字符串 当换行符处理方式选择为替换时，指定替换的字符串。 - 高级属性 写入到临时文件
址，不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息： OBS桶的Endpoint，可以进入OBS控制台概览页，单击桶名称后查看桶的基本信息获取。 端口 是 主机的SSH端口号。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中已创建的密钥。
基础与网络连通配置 连接方式 是 选择所需的连接方式，推荐使用“通过代理连接”。 通过代理连接：通过Agent（即CDM集群）进行代理，以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接：以MRS API的方式访问MRS集群。MRS
技术资产中的数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。需要注意的是，数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行，仅将作业停止调度不会触发血缘关系的删除。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 在DataArts Studio
在“驱动管理”页面，单击MySQL驱动“建议版本”列中的资料链接，按照相应指导获取驱动文件。 在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。
约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。 使用命令恢复历史不变的数据 这里以恢复“/hbase/da
管理回收站 通过回收站功能，您可以恢复误删的数据安全关键数据。当前综合数据的重要程度、使用频次以及误删后恢复难易程度等各方面因素考虑，定义数据安全的关键数据为权限集（包含空间权限集、权限集以及通用角色）和动态脱敏策略。 前提条件 回收站中的数据依赖于权限集（包含空间权限集、权限集
非正式业务场景。如果您需要创建用于业务场景的CDM集群，则可通过购买按需计费的批量数据迁移增量包来进行创建。 按需计费 套餐包（按需资源包） 批量数据迁移增量包支持按需计费和套餐包计费两种计费方式。 按需计费：计费方式灵活，可以即开即停，按实际使用时长计费。 创建按需计费的增量包后，会自动创建一个数据集成CDM集群。
DORIS SQL 功能 通过Doris SQL节点传递SQL语句到Doris中执行。 参数 用户可参考表1和表2配置Doris SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”
对象存储服务OBS MRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi表开启“同步hive表配置”后，可通过采集MRS Hive元数据的方式采集Hudi表的元数据） 详情请参见支持的数据源。 父主题： 数据目录
数据质量运维管理操作处理&记录 功能介绍 该接口用于数据质量监控实例的问题处理，在控制台上可通过“更多>处理&记录”进入问题处理界面。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/quality/instances/{instance_id}
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 手动 否 通过代理连接的时候，此项可配置，通过勾选按钮来选择集群名模式或连接串模式。 使用集群名模式时通过选择填写集群名称进行连接配置。 使用连接串模式填写对应集群的IP和端口进行连接配置。 MRS集群名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
