检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术的发展，用户数据可能存在于各种环境中，例如公有云、自建/托管IDC、混合场景等。在异
获取此账号。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。 linkConfig.serviceType 否 String 服务类型。目前支持HDFS和HBase。 linkConfig
套餐包到期未续订或按需资源欠费时，我的数据会保留吗？ 云服务进入宽限期/保留期后，华为云将会通过邮件、短信等方式向您发送提醒，提醒您续订或充值。保留期到期仍未续订或充值，存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期：指客户的包周期资源到期未续订或按需资源欠费时，华为云提供给客户进行续费与充值的时间，宽限期内客户可正常访问及使用云服务。
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支
料链接，按照相应指导获取驱动文件。 在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理
料链接，按照相应指导获取驱动文件。 在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理
Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String
Integer 总文件数。 ROWS_READ Long 读取的行数。 BYTES_READ Long 读取的字节数。 ROWS_WRITTEN Long 写入的行数。 FILES_WRITTEN Integer 写入的文件数。 FILES_READ Integer 读取的文件数。 TOTAL_SIZE
Integer 总文件数。 ROWS_READ Long 读取的行数。 BYTES_READ Long 读取的字节数。 ROWS_WRITTEN Long 写入的行数。 FILES_WRITTEN Integer 写入的文件数。 FILES_READ Integer 读取的文件数。 TOTAL_SIZE
DIS分区ID，该参数支持输入多个分区ID，使用“,”分隔。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.separator 否 String 字段分隔符。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器（可选）。 如何获取驱动 不同类型的关系数据库，需要适配不同类型的驱动。注意，上传的驱动版本不必与待连接的数据库版本相匹配，直接参考表1获取建议版本的JDK8
jobType=NORMAL_JOB：表示查询表/文件迁移的作业。 jobType=BATCH_JOB：表示查询整库迁移的作业。 jobType=SCENARIO_JOB：表示查询场景迁移的作业。 不指定该参数时，默认只查询表/文件迁移的作业。 请求参数 表3 请求Header参数
最早：最小偏移量，即拉取最早的数据。 最新 APP名字 配置用户数据消费程序的唯一标识符，不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON格式：以JSON格式解析源数据。 二进制格式 字段分隔符
的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时，选择需要进行的插入行为操作。 新增：将文件记录直接插入指定的集合。 有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只
1842”。 EveryMonth：每月一号零点零分创建新索引，新索引的命名格式为“索引名+年+月”，例如“index201812”。 从文件类抽取数据时，必须配置单个抽取（“抽取并发数”参数配置为1），否则该参数无效。 父主题： 目的端作业参数说明
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置：在创建表/文件迁移作业时，如果源端为关系型数据库，那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理：通过“Where子句”参数可以配置一个SQL语句（例如：age
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置：在创建表/文件迁移作业时，如果源端为关系型数据库，那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理：通过“Where子句”参数可以配置一个SQL语句（例如：age
是 String 关系表行数据在Redis中的存储方式分为“string”和“hash”两种存储方式。 STRING：表示用字符串通过分隔符来表示一行数据的各列，可以有效节省存储空间。 HASH：表示一行数据通过“列名：列值”的方式存储在hash表中。 fromJobConfig.valueSeparator
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
