检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。
这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。
起始时间:配置为2021-01-01 00:00:00(格式要求为yyyy-MM-dd HH:mm:ss)。 终止时间:配置为2022-01-01 00:00:00(格式要求为yyyy-MM-dd HH:mm:ss)。
一般定义格式为#{Loop.current[0]}、#{Loop.current[1]}或其他。其中[0]表示遍历到的当前行的第一个值,[1]表示遍历到的当前行的第二个值,以此类推。
id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。
基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。
API概览 数据集成API概览 数据开发API(V1)概览 数据开发API(V2)概览 管理中心API概览 数据架构API概览 数据质量API概览 数据目录API概览 数据服务API概览 数据安全API概览
linkConfig.endpoint 是 String 待连接DIS的URL,URL格式为https://Endpoint。 linkConfig.ak 是 String DIS服务端的AK。 linkConfig.sk 是 String DIS服务端的SK。
比如时间分区用户指定一个源端表名src_col_1,选择一个时间转换格式,日(yyyyMMdd)、月(yyyyMM)、年(yyyy),自动建表时会在Hudi表默认创建一个cdc_partition_key的字段,系统会根据配置的时间转换格式将源端字段(src_col_1)的值格式化后写入
city.temp 时间 可选参数,记录数据的时间点,格式为yyyyMMddHHmmdd的字符串或时间戳。 1598870800 标记 可选参数,可在这里自定义数据的标签。 tagk:tagv, tagk2:tagv2 父主题: 配置CDM作业目的端参数
使用CDM服务,用户不需要维护服务器、虚拟机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。
基础与网络连通配置 Kafka Broker 是 Kafka Broker 格式为 host:port。例如:127.0.0.1:9092,127.0.0.1:9093 Kafka SASL_SSL 是 开启Kafka SASL_SSL,数据将加密传输,安全性更高,但性能会下降。
create_time String 创建时间,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。
*数据选择 非结构化数据仅支持docx、pptx、xlsx和pdf格式文件。 单击“注入水印”,完成文件水印注入,浏览器自动下载注入后的文件。 单击“重置”可重置配置参数至默认状态。
Content-Type消息体的类型(格式),默认取值为“application/json”。 如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。
field_ids Array of strings 字段id信息,格式:table_id.field_id。 field_names Array of strings 字段名称信息,格式:表名称.字段名称。
比如时间分区用户指定一个源端表名src_col_1,选择一个时间转换格式,日(yyyyMMdd)、月(yyyyMM)、年(yyyy),自动建表时会在Hudi表默认创建一个cdc_partition_key的字段,系统会根据配置的时间转换格式将源端字段(src_col_1)的值格式化后写入
否 local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。