检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
toJobConfig.appendMode 是 Boolean 当加载路径已经存在文件,是否需要写入,默认值为“false”。
其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余 可选参数,是否将选做Rowkey的数据同时写入HBase的列,默认值“否”。
key String 该值目前固定为“_sys_enterprise_project_id”。
这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。
fromJobConfig.fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“,”。
否 null值 “文件格式”选择“二进制格式”时,该参数才显示。 由于文本文件中无法用字符串定义null值,此配置项定义将何种字符串标识为null。 否 MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。
这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。
这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。
这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。
新建HANA连接时,在高级属性中添加属性“distribution”,并将值置为“off”。 完成配置后,CDM即可正常连接HANA集群。 父主题: 功能类
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。
例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。
DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 分区字段含有空值 是否允许分区字段包含空值。 是 父主题: 配置CDM作业源端参数
location=sun'] ['year=2020,location=sun', 'year=2021,location=earth'] 读取前一天数据: 当前日期为2024-07-16,则['DS=${dateformat(yyyy-MM-dd, -1, DAY)}']表示抽取DS分区值为
建议用户不选主键,让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主键替代_id,则只能建议用性能更好的ES集群。 父主题: 故障处理类
2019-01-01 20:00:00 终止时间 可选参数,终止时间(不包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间以前的数据。 该参数支持配置为时间宏变量,详细说明请参见使用时间宏变量完成增量同步。
其中,“{”、“}”代表不包含该值,“[”、“]”代表包含该值,TO必须大写且前后要有空格,*代表所有。 例如:“time:{1636992000000 TO *]”,表示过滤time字段中大于1636992000000的所有数据。
age > 18 and age <= 60 分区字段是否允许空值 选择分区字段是否允许空值。 是 Hive 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 hivedb HBase CloudTable 起始时间 起始时间(包含该值)。
20 中间队列缓存大小(MB) 数据写入时中间队列缓存大小,取值范围为1-500,默认值为64。 如果单行数据超过该值,可能会导致迁移失败。如果该值设置过大时,可能会影响集群正常运行。请酌情设置,无特殊场景请使用默认值。
0x5236(二进制数据) 不支持 不支持 特殊类型 SET SET是一个字符串对象,可以有零或多个值,其值来自表创建时规定的允许的一列值。指定包括多个SET成员的SET列值时各成员之间用逗号(‘,’)间隔开。这样SET成员值本身不能包含逗号。