检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
REBOOT_FAILURE：重启失败。 type String 节点类型，只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结：0：否。1：是。 components String 组件。 config_status
cloudtable.com:2181 IAM统一身份认证 如果所需连接的CloudTable集群在创建时开启了“IAM统一身份认证”，该参数需设置为“是”，否则设置为“否”。 当选择IAM统一身份认证时，需要输入用户名、AK和SK。 否 用户名 登录CloudTable集群的用户名。 admin
可通过以下两种方式解决问题： 修改目的端建表语句，INT类型为BOOL类型； 源端修改MySql参数，将该"mysql.bool.type.transform"参数设置为"false"。 其中第二种方式可以在CDM的Mysql连接器高级属性中添加： 连接管理-Mysql连接-高级属性-添加参数 mysql
开始时间(>=) “偏移量参数”选择为“时间范围”时配置。拉取数据的开始时间，包含设置时间点的数据。 2020-12-20 12:00:00 结束时间(<) “偏移量参数”选择为“时间范围”时配置。拉取数据的结束时间，不包含设置时间点的数据。 2020-12-20 20:00:00 字段分隔符
ate_test”和“test1”在云搜索服务中不存在时，CDM会在云搜索服务中自动创建该索引和类型），则CDM默认会将时间类型字段的格式设置为“yyyy-MM-dd HH:mm:ss.SSS Z”的标准格式，例如“2018-01-08 08:08:08.666 +0800”。 图2
Elasticsearch分页查询，用来设置分页size的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。
SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建
SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建
型在线进行压缩的场景。 说明： 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时，使用微批模式呈现此参数。 用于设置单个批次写Hoodie的数据行数，默认100000行。 100000 使用入库时间字段 将一个字段标记为入库时间字段
Studio服务进入数据集成界面可以看到。 单击集群名称后，选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”，通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键（key）的最大长度为36个字符，标签值（value）的最大长度为43个字符。
不处理 删除 Hive表分区字段 “自动创建”设置为“不自动创建”时，无该此参数。 对Hive建表设置分区字段，多个值以逗号隔开。 A,B 表路径 “自动创建”设置为“不自动创建”时，无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时，无该此参数。 选择存储格式。
创建CDM迁移作业时，支持设置该作业的抽取并发数。 该参数设置为适当的值可以有效提升迁移速度，过小则会限制迁移速度，过大则会导致任务过载、迁移失败。 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景，调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数，同时也可以设置集群最大抽取并发数。 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行
基本概念 CDM集群 CDM集群是指用户拥有的CDM实例，一个CDM集群由1个或多个虚拟机组成。一个用户可以创建多个CDM集群，例如为财务部门和采购部门各创建一个CDM实例，实现数据访问权限的隔离。 本地环境 本地环境是指用户自建或者租用的IDC中的数据存储系统，或者第三方云环境
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题： 创建并管理CDM集群
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议
user_dws 密码 访问DWS数据库的用户密码。 dws_password 获取token 调用其他API前，需要获取token，并设置成环境变量。 curl -H "Content-Type:application/json" https://{iam_endpoint}/v3/auth/tokens
CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考
SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建
先导入阶段表，如果设置为“true”，数据导入目的表之前会把数据先导入阶段表，如果成功导入阶段表，则再从阶段表导入到目的表，这样避免导入过程失败，在目的表遗留部分成功数据。 toJobConfig.extendCharLength 否 Boolean 扩大字符字段长度，如果设置为“tru
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
