检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
smallserial 序列数据类型，以smallint格式存储。 SMALLINT SMALLINT SMALLINT serial 序列数据类型，以int格式存储。 INTEGER INT INT bigserial 序列数据类型，以bigint格式存储。 BIGINT BIGINT BIGINT
源连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据的桶。 源目录或文件：待迁移数据的路径，也可以迁移桶下的所有目录、文件。 文件格式：迁移文件到数据表时，文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。
源连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据的桶。 源目录或文件：待迁移数据的路径，也可以迁移桶下的所有目录、文件。 文件格式：迁移文件到数据表时，文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。
local_infile字符集 MySQL通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5
Kafka普通队列。 Platinum：指DMS Kafka专享版。 linkConfig.brokerList 是 String DMS Endpoint格式为“host1:port1,host2:port2”。 linkConfig.isPlatinumInstance 是 Boolean 选
压缩算法 可选参数，创建新HBase表时采用的压缩算法，默认为值“NONE”。 NONE：不压缩。 SNAPPY：压缩为Snappy格式。 GZ：压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现
是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名，包括端口号，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如：192.168.0.1:9200;192.168.0.2:9200。 linkConfig
Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1,host2:port2”。 llinkConfig.host 是 String MRS Manager的浮动
节点名称：您自定义名称，例如“创建CDM作业”。注意区分：在DLF作业中，CDM的迁移作业只是作为节点运行。 URL地址：配置为获取CDM作业的JSON中获取的URL，格式为https://{Endpoint}/cdm/v1.0/{project_id}/clusters/{cluster_id}/cdm/job。例如“https://cdm
等。 需要添加到请求中的公共消息头如表3所示。 表3 公共请求消息头 名称 描述 是否必选 示例 Content-type 消息体的类型（格式），默认取值为“application/json”。 如果请求消息体中含有中文字符，则还需要通过charset=utf8指定中文字符集。 是
例如：贸易详单数据和基础信息数据），基于CDM+OBS+DLI完成贸易统计分析。 图1 场景方案 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用H
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
local_infile字符集 MySQL通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5
local_infile字符集 MySQL通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5
txt 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。
一条记录）。如果没有，则不会添加新记录。 新增 导入前准备语句 执行任务前需要先执行的MongoDB查询语句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对
在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式，但是没有生效。 解决方案 客户侧的null是null字符串，而非null空值，所以null字符串无法转化，null空值的查询条件是 is
storeFormat=textfile：关系型数据库迁移到Hive时，自动建表默认为orc格式。如果需要指定为textfile格式，可增加此配置。parquet格式同理，hive.storeFormat属性值指定为parquet格式即可。 fs.defaultFS=obs://hivedb：对接的MRS
/user/cdm/ 文件格式 传输数据时所用的文件格式，可选择以下文件格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式：以Parqu
test1 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。 二进制格式 压缩格式 选择对应压缩格式的源文件进行迁移： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
