检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置权限集 在数据访问权限管理的实际场景下，通常会有一级部门、二级部门、三级部门等多级权限的划分。为此，数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限，在此基础上，将其向下拆分出新的子权限集，提供进一步的细分权限管理。 权限集本质
MySQL同步到DMS Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MySQL数据库（5.6、5.7、8.x版本） DMS Kafka集群（2.7、3.x版本） 数据库账号权限要求 在使用Migration进行同步时，源端和
MRS Ranger数据连接参数说明 表1 MRS Ranger数据连接 参数 是否必选 说明 数据连接类型 是 MRS Ranger连接固定选择为MapReduce服务（MRS Ranger）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
SQLServer同步到MRS Hudi作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 SQLServer数据库（企业版2016、2017、2019、2022版本，标准版2016 SP2及以上版本、2017、2019、2022版本） MRS集群（3
MRS HetuEngine 功能 通过MRS HetuEngine节点执行数据开发模块中预先定义的HetuEngine SQL脚本。 参数 用户可参考表1和表2配置MRS HetuEngine节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中
DRS任务切换到实时Migration作业配置 DRS（数据复制服务）任务迁移到Migration，完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务，DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。
MRS Impala SQL 功能 通过MRS Impala SQL节点执行数据开发模块中预先定义的Impala SQL脚本。 参数 用户可参考表1和表2配置MRS Impala节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数
Shell 功能 通过Shell节点执行用户指定的Shell脚本。 Shell节点的后续节点可以通过EL表达式#{Job.getNodeOutput()}，获取Shell脚本最后4000字符的标准输出。 使用示例： 获取某个Shell脚本（脚本名称为shell_job1）输出值包
部署者操作 部署者作为管理开发任务上线的人员，需要审批待发布任务，相关操作如下文所示。 部署者审批开发者提交的发布任务，审批通过后才能将修改后的作业同步到生产环境。 在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。
DIS Client 功能 通过DIS Client节点可以给DIS通道发送消息。 您可以参考跨空间进行作业调度，获取DIS Client节点的使用案例。 参数 用户可参考表1配置DIS Client节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
MRS Presto SQL 功能 通过MRS Presto SQL节点执行数据开发模块中预先定义的Presto SQL脚本。 参数 用户可参考表1，表2和表3配置MRS Presto SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。
SQL作业/脚本默认模板配置 Spark SQL作业/脚本配置运行时，通过默认参数模板去管控是否允许用户去设置任意参数覆盖模板设置的默认参数。 在MRS API连接方式下，Spark SQL脚本支持配置默认运行参数。代理连接不支持。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“Spark
For Each 功能 该节点可以指定一个子作业循环执行，并支持用一个数据集对子作业中的变量进行循环替换。 For Each节点的具体使用教程，请参见For Each节点使用介绍。 For Each节点单次运行时，指定的子作业最多循环执行1000次。 如果DLI SQL作为前置节点，For
使用前自检概览 当您在使用Migration服务创建实时同步任务前，需要预先检查是否做好了准备工作，以满足实时同步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 为云账号及权限准备 准备华为账号，创建用户并授权使用Migration。 参考注册华为账号并开通华为云。
Python 使用Python节点前，需确认对应主机连接的主机配有用于执行Python脚本的环境。 功能 通过Python节点执行Python语句。 Python节点的具体使用教程，请参见开发一个Python脚本。 Python节点支持脚本参数和作业参数。 参数 用户可以参考表1和表2配置Python节点的参数。
Redis连接参数说明 Redis连接适用于用户在本地数据中心或ECS上自建的Redis，适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作
配置达梦数据库 DM源端参数 从达梦数据库 DM导出数据时，源端作业参数如表1所示。 表1 达梦数据库 DM作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ
ETL Job 功能 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。 目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。 参数 用户可参考表1，表2和表3配置ETL
步骤4：服务退订 本开发场景中，DataArts Studio、OBS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
