检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
次提交行数。 100 单击“保存”回到连接管理界面,完成MySQL连接器的配置。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 父主题: 使用教程
创表失败,原因:%s。 创建表失败。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.1103 400 未设置Rowkey。 未设置Rowkey。 请设置Rowkey后再重试。 Cdm.1104 400 打开表格失败。原因:%s。 打开表格失败。 请根据错误提示进行定位
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建DWS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建DWS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新
切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 | 起始时间 可选参数,起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 sslmode=require 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ' 父主题: 配置连接参数
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建RDS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 >
ava-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建RDS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 >
型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。 用于设置单个批次写Hoodie的数据行数,默认100000行。 100000 使用入库时间字段 将一个字段标记为入库时间字段
不处理 删除 Hive表分区字段 “自动创建”设置为“不自动创建”时,无该此参数。 对Hive建表设置分区字段,多个值以逗号隔开。 A,B 表路径 “自动创建”设置为“不自动创建”时,无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时,无该此参数。 选择存储格式。
Redis数据库索引 Redis分库的索引标识。 Redis的分库,相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置,默认是16个,分库名称是一个整数(0~15),不是一个字符串。 0 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
con:192.168.XX.XX.”。 故障分析 考虑用户数据量大,或连接中断异常导致报错,检查客户连接高级属性配置,是否配置超时时间参数设置及设置情况: 用户连接参数超时时间“6000000”毫秒,已经足够大。进一步排查客户Mysql数据库是否异常,将日志中打印查询源端的sql在M
YASHAN连接参数说明 连接YASHAN时,相关参数如表1 YASHAN连接参数所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 YASHAN连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的
创建CDM迁移作业时,支持设置该作业的抽取并发数。 该参数设置为适当的值可以有效提升迁移速度,过小则会限制迁移速度,过大则会导致任务过载、迁移失败。 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。
避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景,调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数,同时也可以设置集群最大抽取并发数。 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行
如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“local_infile”设置为“ON”,开启该功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,
启动作业标识文件为“ok.txt”,在源端生成文件成功后,再在文件目录下生成“ok.txt”,这样CDM就能读取到完整的文件。 另外,可以设置超时时间,在超时时间内,CDM会周期去查询标识文件是否存在,超时后标识文件还不存在的话,则作业任务失败。 启动作业标识文件本身不会被迁移。
启动作业标识文件为“ok.txt”,在源端生成文件成功后,再在文件目录下生成“ok.txt”,这样CDM就能读取到完整的文件。 另外,可以设置超时时间,在超时时间内,CDM会周期去查询标识文件是否存在,超时后标识文件还不存在的话,则作业任务失败。 启动作业标识文件本身不会被迁移。
、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,可打开此配置。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。