检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务 是 选择需要开机/关机的服务： ECS CDM 开关机设置 是 选择开关机类型： 开 关 开关机对象 是 选择需要开机/关机的具体对象，例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。
中单击指定资源组的下拉框，查看该资源组的VPC网段。 图2 查询资源组网段 172.16.0.0/19 网络配置流程 配置华为云数据库所在安全组规则。 华为云数据库所在安全组需要增加入方向规则，放通Migration资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。
如何降低CDM使用成本？ 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下： 假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性
如果指定了该参数，程序在抽取数据时将读取第一行作为标题行。 否 编码类型 文件格式为CSV格式或JSON格式时支持此参数。 文件编码类型。 只有文本文件可以设置编码类型，否则设置无效。 支持的文件编码类型有UTF-8 、 GBK。 UTF-8 压缩格式 压缩格式。 默认无。支持的压缩格式有GZIP，ZIP及TAR
选择指标所属的业务流程。如果您还未创建业务流程，请参见流程设计进行创建。 *设置目的 描述设置该指标的目的。 *指标定义 需准确描述指标的定义。 备注 备注信息。 自定义指标 如果在配置中心的指标配置页面设置了自定义指标，页面中会显示自定义指标参数。创建流程请参见指标配置。 配置指标数据信息。
配置管理 配置 管理资源 父主题： 数据开发
ava-5.1.48.jar，然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错，一般是由于MySQL数据库的安全设置问题，需要设置允许CDM集群的EIP访问MySQL数据库。 创建OBS连接 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 >
数据安全 为什么运行静态脱敏任务后却没有按照规则脱敏？ 审批DWS权限申请时提示“缺少必要的请求参数”怎么办？ 启用细粒度认证时，DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办？ 启用细粒度认证后，在数据开发组件选择数据库时报错“Failed
根据企业的业务组织，在您的华为账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DataArts Studio资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将DataArts Studio资源委托给更专业、高效的其他华为账号或者云服务
Hive。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件
根据企业的业务组织，在您的华为账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DataArts Studio资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将DataArts Studio资源委托给更专业、高效的其他华为账号或者云服务
API创建数据迁移作业？ 如何将云下内网或第三方云上的私网与CDM连通？ CDM是否支持参数或者变量？ CDM迁移作业的抽取并发数应该如何设置？ CDM是否支持动态数据实时迁移功能？ CDM是否支持集群关机功能？ 如何使用表达式方式获取当前时间？ 日志提示解析日期格式失败时怎么处理？
务，另外调度时间和频次也需要根据业务需要进行合理设置，避免对引擎造成较大的访问和连接压力，设置建议如下： 若业务对元数据时效性要求为1天，则设置调度周期=max(1天，单次采集周期时间)，其他情况同理。 若业务压力集中在白天，则设置调度时间在夜间，其他情况同理，选择数据源压力最小的时间段。
字段的值替换为当前时间。所选字段必须为timestamp类型。 - 写入参数 在执行Spark SQL往hudi插入数据前，通过set语法设置参数，从而控制spark的写入行为。 hoodie.combine.before.upsert 父主题： 配置作业目的端参数
bManager和TaskManager的，默认情况下单个作业使用2U8G资源，会对应创建出1个JobManager进程和1个TaskManager进程，且均使用1U4G资源。 作业调优 默认场景下，给定的1U4G规格可满足绝大部分使用场景，但Migration服务也提供修改Jo
DM连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
发责任人、运维管理员设置为管理员角色。 开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者：运维者具备工作空间内运维调度等业务的操作权限，但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客：访客
上传存量数据 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶，并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。
业务指标监控（待下线） 业务指标监控简介 新建指标 新建规则 新建业务场景 查看业务场景实例 父主题： 数据质量
担压力。 在调度Shell、Python脚本时，Agent会访问ECS主机，如果Shell、Python脚本的调度频率很高，ECS主机会将Agent的内网IP加入黑名单。为了保障作业的正常调度，强烈建议您使用ECS主机的root用户将绑定Agent（即CDM集群）的内网IP加到/etc/hosts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
