检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您已经创建过CDM集群，可以跳过该步骤，直接使用已创建的集群ID。 如果您需要使用新的集群执行迁移任务，调用创建集群API创建。 创建连接 调用创建连接API创建MySQL连接和DWS连接。 创建迁移作业 调用指定集群创建作业API创建MySQL到DWS的迁移作业。 查看作业结果 调用启动作业API开始执行作业。
当前仅支持同步策略到MRS集群。 数据连接 无需选择，自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意，Kafka应为第三方平台发布消息所在的Kafka，Kafka数据连接中的账户要具备kafkaadmin用户组的权限。
在集群管理页面，单击集群操作列“作业管理”，进入“作业管理”页面，如图1所示。 图1 集群管理 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。
DLI：DLI连接类型的表的数据类型。 DWS：DWS连接类型的表的数据类型。 MRS_HIVE：MRS_HIVE连接类型的表的数据类型。 MRS_SPARK：MRS_SPARK连接类型Hudi表的数据类型。 POSTGRESQL：POSTGRESQL连接类型的表的数据类型。
Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 跨空间进行作业调度 使用Python脚本连接MRS安全集群执行Impala SQL 天任务依赖分钟任务 Flink Jar作业开发指导
separator 否 String 字段分隔符，默认为空格。 toJobConfig.identifierEnclose 否 String 连接引用表名或列名时的分隔符号，默认为空。 父主题： 目的端作业参数说明
任务。 约束条件 已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表
空间名称。 单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择
name：脚本的名称，由您自行定义，例如取名为echoTimeShell。 type：脚本类型。 content：脚本的内容。 connectionName：脚本关联的连接名称。 创建DLI SQL脚本 您还可以创建DLI SQL脚本，示例如下。 { "name":"dlisql1", "type":"DLISQL"
用户流量限制（次/10s） 查询数据开发细粒度连接列表 查询数据开发细粒度连接列表（全量）。 3600 40 批量更新数据开发连接细粒度认证状态 批量更新数据开发连接细粒度认证状态。 1800 20 测试数据开发连接细粒度连通性 测试数据开发连接细粒度连通性。 1800 20 敏感数据分布接口
和内容规则。 *数据源类型 当前仅支持DWS数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接，若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择，自动匹配数据连接中的数据源集群。 *数据库 选择行数据所在的数据库。 *数据表
置为访客。 表1 企业模式内的权限 - 简单空间 企业空间 管理者 拥有生产环境管理中心的所有权限，包含连接配置、数据导入导出等。 增加了部署相关的新操作 进行管理中心的连接配置、环境隔离配置，数据导入导出等 进行数据开发配置，比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。
因此，为了保证专享版集群API能够被用户访问，集群创建中需要注意如下网络配置： VPC 虚拟私有云。专享版实例需要配置虚拟私有云（VPC），在同一VPC中的资源（如ECS），可以使用专享版实例的私有地址调用API。 在购买时专享版实例时，建议配置和您其他关联业务相同VPC，确保网络安全的同时，方便网络配置。
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏？ 审批DWS权限申请时提示“缺少必要的请求参数”怎么办？ 启用细粒度认证时，DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办？ 启用细粒度认证后，在数据开发组件选择数据库时报错“Failed
入管理中心页面。 在“数据连接”页面，单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。 此处创建MapReduce服务 （MRS Hive）数据连接，参数配置如图3所示。 数据连接类型：MapReduce服务（MRS
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称，该数据库已创建好，建议不要使用默认数据库。 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句
city2(code varchar(10),name varchar(32)); 在CDM集群下，创建连接到MySQL的连接，例如连接名称为“mysqltestlink”。创建连接到DWS的连接，例如连接名称为“dwstestlink”。 运行下述代码，依赖HttpClient包，建议使用4.5版本。Maven配置如下：
业务资产和指标资产来自于数据架构组件，会随数据架构同步的数据更新，但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的数据连接信息来自于管理中心的数据连接，会随管理中心同步的数据更新，但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的库表列等信息来自
参数描述 *资源类型 选择MRS队列或者DLI队列。 *数据连接 选择队列所在的数据连接。如需新建数据连接，请参考创建DataArts Studio数据连接。 *集群名称 仅当资源类型为MRS队列时显示，无需填写， 系统自动匹配数据连接对应的集群名称。 *队列名称 选择需要授权的队列名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
