检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增访问密钥”，如图5所示。 图5 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
Integer 总文件数。 ROWS_READ Long 读取的行数。 BYTES_READ Long 读取的字节数。 ROWS_WRITTEN Long 写入的行数。 FILES_WRITTEN Integer 写入的文件数。 FILES_READ Integer 读取的文件数。 TOTAL_SIZE
Integer 总文件数。 ROWS_READ Long 读取的行数。 BYTES_READ Long 读取的字节数。 ROWS_WRITTEN Long 写入的行数。 FILES_WRITTEN Integer 写入的文件数。 FILES_READ Integer 读取的文件数。 TOTAL_SIZE
DIS分区ID，该参数支持输入多个分区ID，使用“,”分隔。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.separator 否 String 字段分隔符。
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始
新增访问密钥”，如图5所示。 图5 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器（可选）。 如何获取驱动 不同类型的关系数据库，需要适配不同类型的驱动。注意，上传的驱动版本不必与待连接的数据库版本相匹配，直接参考表1获取建议版本的JDK8
这个问题，可以通过将目的端作业参数“扩大字符字段长度”选择“是”来解决，选择此选项后，再创建目的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业，目的端作业配置下“自动创表”选择“不存在时创建”，则高级属性下面会出现参数“扩大字符字段长度”，配置该参数为“是”即可，如图2所示。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
最早：最小偏移量，即拉取最早的数据。 最新 APP名字 配置用户数据消费程序的唯一标识符，不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON格式：以JSON格式解析源数据。 二进制格式 字段分隔符
jobType=NORMAL_JOB：表示查询表/文件迁移的作业。 jobType=BATCH_JOB：表示查询整库迁移的作业。 jobType=SCENARIO_JOB：表示查询场景迁移的作业。 不指定该参数时，默认只查询表/文件迁移的作业。 请求参数 表3 请求Header参数
的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时，选择需要进行的插入行为操作。 新增：将文件记录直接插入指定的集合。 有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只
1842”。 EveryMonth：每月一号零点零分创建新索引，新索引的命名格式为“索引名+年+月”，例如“index201812”。 从文件类抽取数据时，必须配置单个抽取（“抽取并发数”参数配置为1），否则该参数无效。 父主题： 目的端作业参数说明
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置：在创建表/文件迁移作业时，如果源端为关系型数据库，那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理：通过“Where子句”参数可以配置一个SQL语句（例如：age
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置：在创建表/文件迁移作业时，如果源端为关系型数据库，那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理：通过“Where子句”参数可以配置一个SQL语句（例如：age
移，快速构建所需的数据架构。 迁移场景介绍 表/文件迁移 整库迁移 增量迁移 集群管理 创建集群 解绑/绑定集群的EIP 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 连接管理 新建连接 作业管理 新建表/文件迁移作业 配置作业源端参数 配置作业目的端参数 3分钟创建一个游戏类容器应用
请求的发生时间，格式为(YYYYMMDD'T'HHMMSS'Z')。 取值为当前系统的GMT时间。 否 20190407T101459Z Host 请求的服务器信息，从服务API的URL中获取，值为“hostname[:port]”。端口缺省时使用默认的端口，https的默认端口为443。 否 code.test
表在metastore中存在，但不是Huid表，或者表在metastore中存在，但是表目录不存在，根因是在表目录下没有.hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值，写入hoodie会失败。 查看作业配置，查看表属性中hoodie.datasource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
