检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改集群 功能介绍 修改CDM集群配置。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/cluster/modify/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
f6：表示cdm.small规格，2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745：表示cdm.medium规格，4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。 5ddb1071-
图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”
图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”
所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可，参数："throttlingConfig.numExtractors"。 在作业配置界面，源端参数配置的高级属性中，给 “抽取分区字段”配置项指定字段即可（建议为源端表的主键或者递增的字段）。 父主题： 故障处理类
是 String OBS服务器的终端节点（Endpoint）。 linkConfig.port 是 String 数据传输协议端口，https是443，http是80。 linkConfig.accessKey 是 String 访问标识（AK）。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，可打开此配置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。
但Hive连接器测试连通性是正常的，于是仔细检查Hive的连接器配置的参数。 安全集群MRS Manager用户、用户组和角色配置都正确，发现Hive版本配置的为HIVE_3_X。 由于MRS1.8.1集群hive版本为1.2.1，故应该选择hive_1_X。正确修改连接器配置，重新创建作业正常。 父主题： 故障处理类
行作业，可能需要调整作业配置。 如作业配置了分片数，或者源端为分区表，且作业配置了按表分区抽取，则单击更多-分片重试，重跑失败分片（比如配置了100个分片，上次执行到50个分片报错，则单击失败重试后，仅会执行剩余50个分片）。 如且源端非分区表，作业未配置分片数，建议调大作业分片
图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”
图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”
如果CDM需要访问本地数据源、Internet的数据源，或者跨VPC的云服务，则必须要为CDM集群绑定一个弹性IP，或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet，具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。
Kerberos：安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值 父主题： 连接参数说明
您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 父主题： 功能类
新增字段操作指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
修改属性 CDM节点配置为创建作业时，节点运行会检测是否有同名CDM作业。 如果CDM作业未运行，则按照请求体内容更新同名作业。 如果同名CDM作业正在运行中，则等待作业运行完成。此时该CDM作业可能被其他任务启动，可能会导致数据抽取不符合预期（如作业配置未更新、运行时间宏未替换正确等）
新建连接”，进入选择连接器类型的界面，如图1所示。 图1 选择连接器类型 选择“MySQL”后单击“下一步”，配置MySQL连接的参数。 单击“显示高级属性”可查看更多可选参数，具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数
原始库多，有的多十几条，有的多几千条。 故障分析 根据故障信息分析，考虑是作业配置限制，检查作业配置，发现目的端配置为导入开始前“不清除”，不清除可能存在多次操作，部分数据重复。 解决方案 目的端配置为导入开始前“清空全部数据”，验证后，源/目的端条数一致。 父主题： 故障处理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
