检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的插入行为操作。 新增:将文件记录直接插入指定的集合。 有则新增,无则替换:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记录(找到多条匹配记录时,只会替换找到的第一条记录)。如果不存在,则添加新记录。 替换:使用指定的过滤键作为查询条件。如果在集合中找到匹配的
*table*表示表名中只要有“table”字符串,就全部导出。 fromJobConfig.whereClause 否 String 指定抽取的Where子句,不指定则抽取整表,例如:“age > 18 and age <= 60”。 fromJobConfig.columnList 否 String
CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。 DROP_AND_CREATE:先删除“tableName”参数中指定的表,然后再重新创建该表。 toJobConfig.columnList 否 String
果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.filePrefix 否 String 自定义文件名前缀,支持时间宏。例如:test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 父主题:
CDM的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 程序在读写两端会根据数据源类型,使用不同的访问接口。一般是数据源提供的对外接口,例如JDBC、原生API等,因此在开发脚本时需要依赖大量的库、SDK等,开发管理成本较高。
创建时需要指定源连接、目的连接、数据映射规则。 源端作业配置 在创建作业的过程中,由源连接指定抽取哪个数据源的数据,不同源连接对应的源端作业参数不同,例如从哪个表或哪个目录导出数据,这些信息在源端作业配置中指定。 目的端作业配置 在创建作业的过程中,由目的连接指定加载数据到哪个
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: API
可用区名称。 region String 局点名称。 created String 实例创建时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ。 updated String 实例更新时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ。 name String
适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
- 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。
Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权
适配mysql的驱动。 - Agent Agent功能待下线,无需配置。 - 单次请求行数 指定每次请求获取的行数。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
String 创建连接的用户。 name String 连接名称。 id Integer 连接ID。 creation-date Long 创建连接的时间。 connector-name String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连
d 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。
"throttlingConfig.numExtractors"。 在作业配置界面,源端参数配置的高级属性中,给 “抽取分区字段”配置项指定字段即可(建议为源端表的主键或者递增的字段)。 父主题: 故障处理类
在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取,接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可参考IAM文档获取。
创建连接的用户。 name 是 String 连接名称。 id 否 Integer 连接ID。 creation-date 否 Long 创建连接的时间。 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据
通过Teleport设备或硬盘(外置USB接口、SATA接口、SAS接口类型)向华为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别 表1 各个数据迁移服务区别 服务名 主要功能 与其他服务的区别 云数据迁移CDM
创建连接的用户。 name 是 String 连接名称。 id 否 Integer 连接ID。 creation-date 否 Long 创建连接的时间。 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据
-1-212:9083 linkConfig.obsSupport 是 Boolean 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED