云服务器内容精选
-
自定义数据源 返回页首 任务的“集成模式”为“定时”时，可以选择自定义数据源作为目标端数据源。 在创建任务页面中配置目标端信息。 表29 目标端自定义数据源信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择自定义数据源所属的集成应用，在接入数据源时已配置。 目标数据类型 选择具体自定义数据源类型。 数据源名称 选择接入数据源中已配置的自定义数据源。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 除了以上参数外，不同自定义数据源会定义不同的写端参数，请按照连接器原始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到自定义数据源所使用的连接器，查看连接器的“写端参数定义”信息。 以一个发送邮件的自定义数据源为例，目标端为自定义数据源的配置示例如下图所示。其中receiver和title参数为连接器中定义的目标端参数，id、name和info为要写入到自定义数据源的数据字段。 图13 自定义数据源配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
GaussDB (for MySQL) 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择GaussDB(for MySQL)作为目标端数据源。 在创建任务页面中配置目标端信息。 表28 目标端GaussDB(for MySQL)信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择GaussDB(for MySQL)数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“GaussDB(for MySQL)”。 数据源名称 选择接入数据源中已配置的GaussDB(for MySQL)数据源。 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
SQL Server 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择SQL Server作为目标端数据源。 在创建任务页面中配置目标端信息。 表27 目标端SQL Server信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择SQL Server数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“SQL Server”。 数据源名称 选择接入数据源中已配置的SQL Server数据源。 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
RabbitMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择RabbitMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表26 目标端RabbitMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择RabbitMQ数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“RabbitMQ”。 数据源名称 选择接入数据源中已配置的RabbitMQ数据源。 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是，表示创建一个新队列，并把待集成数据发送到该队列。 选择否，表示把待集成数据发送到已有队列。 交换方式 选择RabbitMQ数据源中，交换器将消息转发到队列的路由方式。若“是否创建新队列”选择“是”，则选择新队列的交换方式；若“是否创建新队列”选择“否”，则选择已有目标队列一致的交换方式。 Direct：若消息的路由关键字与队列完全匹配，则消息会转发到队列。 Topic：若消息的路由关键字与队列模糊匹配，则消息会转发到队列。 Fanout：所有消息都会转发到队列。 Headers：若消息的Headers属性与队列完全匹配，则消息会转发到队列。 交换机名称 填写RabbitMQ数据源的交换器名称。若“是否创建新队列”选择“是”，则配置新队列的交换器名称；若“是否创建新队列”选择“否”，则配置已有目标队列一致的交换器名称。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到队列。若“是否创建新队列”选择“是”，则配置新队列的路由关键字；若“是否创建新队列”选择“否”，则配置已有目标队列一致的路由关键字。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 RabbitMQ把Headers作为判断条件，符合条件的消息将转发到新队列。若“是否创建新队列”选择“是”，则配置新队列的Headers键值对；若“是否创建新队列”选择“否”，则配置已有目标队列一致的Headers键值对。 队列名称 仅当“是否创建新队列”选择“是”时需要配置。 填写新队列的名称，自定义。 自动删除 当没有客户端连接队列时，队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例，目标端为RabbitMQ的配置示例如下图所示。 图12 RabbitMQ配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
RocketMQ 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择RocketMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表25 目标端RocketMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择RocketMQ数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“RocketMQ”。 数据源名称 选择接入数据源中已配置的RocketMQ数据源。 Topic 主题字符串/队列名称. 元数据 定义写入到目标端的JSON格式数据中，每一个底层key-value型数据元素。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d，元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 目标端为RocketMQ的配置示例如下图所示。 图11 RocketMQ配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择PostgreSQL作为目标端数据源。 在创建任务页面中配置目标端信息。 表23 目标端PostgreSQL信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择PostgreSQL数据源所属的集成应用。 目标端数据类型 选择“PostgreSQL”。 数据源名称 选择已配置的PostgreSQL数据源。 目标端表 选择待集成数据要写入的数据表，单击“选择表字段”，可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
MRS Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS Kafka作为目标端数据源。 在创建任务页面中配置目标端信息。 表20 目标端MRS Kafka信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS Kafka数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS Kafka”。 数据源名称 选择接入数据源中已配置的MRS Kafka数据源。 Topic名称 填写用户在MRS Kafka服务已创建的Topic名称，不可随意自定义。 Key 填写消息的Key值，表示消息存储在指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 目标端为MRS Kafka的配置与Kafka的类似，配置示例可参考Kafka配置示例。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
OBS 返回页首 任务的“集成模式”为“定时”时，可以选择OBS作为目标端数据源。 在创建任务页面中配置目标端信息。 表21 目标端OBS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择OBS数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“OBS”。 数据源名称 选择接入数据源中已配置的OBS数据源。 对象类型 选择写入OBS数据源的数据文件类型，当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。 选择写入OBS数据源的数据文件编码方式，可选择“UTF-8”和“GBK”。 Path 填写数据要写入OBS数据源的数据文件所在路径。Path的值不能以斜杠（/）结尾，不能设置为OBS桶的根目录。 文件名前缀 填写文件名前缀，与“时间格式”配合使用，用于定义写入OBS数据源的文件名称。 时间格式 选择文件名中的时间格式，与“文件名前缀”配合使用，用于定义数据写入OBS数据源的文件名称。 文件类型 选择写入OBS数据源的数据文件格式，文本文件支持txt和csv格式，二进制文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。 选择是否配置文件的高级属性。 换行符 仅当“高级属性”选择“是”时需要配置。 填写文件内容的换行符，用于区分文件中的不同数据行。 使用包围符 仅当“高级属性”选择“是”时需要配置。 若选择“是”，则数据文件中的每个数据字段都会用双引号（"）包围。若数据字段中存在与分隔符、换行符相同的符号时，可以避免字段被错误的拆分为2个字段。例如源数据中有1个数据字段aa|bb，在集成到目标数据文件时设置了|为分隔符，如果选择使用包围符，则目标数据文件中该字段为"aa|bb"，不会被拆分为aa和bb两个字段。 字段分隔符 仅当“文件类型”选择“txt”或者“高级属性”选择“是”时需要配置。 填写文件内容的字段分隔符，用于区分每行数据中的不同字段。 是否添加文件头 选择是否为写入的数据文件添加文件头。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 文件头 仅当“是否添加文件头”选择“是”时需要配置。 填写文件头的内容信息，多个文件头信息需要用英文逗号（,）隔开。 元数据 定义写入到目标端文件的数据字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 支持以下类型： String: 字符串类型。 Double: 浮点数类型。 Date: 日期时间类型。 Boolean: 布尔类型。 Long: 整数类型。 若不确定具体的数据类型，可选择String类型。 目标端为OBS的配置示例如下图所示，id、name和info为要写入到OBS数据源的数据字段。 图8 OBS配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
Oracle 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Oracle作为目标端数据源。 在创建任务页面中配置目标端信息。 表22 目标端Oracle信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择Oracle数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“Oracle”。 数据源名称 选择接入数据源中已配置的Oracle数据源。 目标端表 选择已有的表，单击“选择表字段”，可以选择只需要集成的数据列字段。 说明： 主键字段对应的源端字段如果为空，该条记录会默认抛弃，不会产生调度日志错误码。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段，且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数，用来标识同一批次的数据，同一批次插入的数据具有相同的批次号，表示这些数据是同一批次插入的，可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID，yyyyMMddHHmmss可能会有重复，请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
Redis 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择Redis作为目标端数据源。 在创建任务页面中配置目标端信息。 表24 目标端Redis信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择Redis数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“Redis”。 数据源名称 选择接入数据源中已配置的Redis数据源。 key前缀 填写Redis数据源中存储待集成数据的key名称前缀，“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称，每一行数据作为key的value存储到Redis中。具体key格式请参考key和value格式说明。 key后缀字段 选择源端数据中值不允许重复的字段作为key后缀，“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称，如此可以确保每一行数据都能被集成到Redis数据源的不同key中。 “数据类型”选择“List”、“Set”或“ZSet”时，“key后缀字段”可以为空，即只由“key前缀”生成一个key，此时所有数据行作为元素被集成到Redis数据源的同一个key中。 分隔符 仅当“key后缀字段”不为空时需要配置。 填写“key前缀”与“key后缀字段”之间的分隔符，“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称。 数据类型 选择Redis数据源中key的数据类型。支持以下类型： String List Map Set ZSet List追加方式 仅当“数据类型”选择“List”时需要配置。 选择List类型key的数据追加写入方式。 lpush：表示当前数据插入到List的头部。 rpush：表示当前数据插入到List的尾部。 sortColumn 仅当“数据类型”选择“ZSet”时需要配置。 选择使用源端哪一个数据字段进行数据元素的排序。 失效时间（秒） Redis数据源中key的失效时间，0表示永不失效。 写入格式 仅当“数据类型”选择“String”、“List”、“Set”或“ZSet”时需要配置，“数据类型”选择“Map”时默认为JSON格式。 选择待集成数据写入Redis数据源的数据格式，可选择“JSON”和“CUSTOMIZE”。 元数据 定义写入到目标端key的value格式。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 若“写入格式”为“JSON”，则元数据以JSON格式在Redis数据源中作为key的value存储。若“写入格式”为“CUSTOMIZE”，则自定义目标端value的拼接格式，全部元数据与拼接前缀、拼接后缀进行拼接，并在Redis数据源中作为key的value存储。具体value格式请参考key和value格式说明。 key和value格式说明： 假设有如下源端数据，目标端信息中“key前缀”设置为“roma”，选择源数据的唯一键“aaa”字段作为“key后缀字段”，确保key名称不重复，并设置“|”作为key前缀与后缀的分隔符。 +-------+-------+ | aaa | bbb | +-------+-------+ | 1 | x | | 2 | y | | 3 | z | +-------+-------+ 若“数据类型”为“String”，“写入格式”为“JSON”，元数据配置如图9所示，则写入到Redis数据源中的key和value如下。 key value -------------------------------- roma|1 "{"bbb":"x","aaa":1}" roma|2 "{"bbb":"y","aaa":2}" roma|3 "{"bbb":"z","aaa":3}" 图9 元数据配置（JSON） 若“数据类型”为“String”，“写入格式”为“CUSTOMIZE”，元数据配置如图10所示，则写入到Redis数据源中的key和value如下。 key value ------------------------ roma|1 "bbb_x&aaa_1" roma|2 "bbb_y&aaa_2" roma|3 "bbb_z&aaa_3" 图10 元数据配置（CUSTOMIZE） 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
MongoDB 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MongoDB作为目标端数据源。 在创建任务页面中配置目标端信息。 表15 目标端MongoDB信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MongoDB数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MongoDB”。 数据源名称 选择接入数据源中已配置的MongoDB数据源。 选择目标端集合 选择MongoDB数据源中要写入数据的数据集合（数据集合相当于关系型数据库的数据表）。选择数据集合后，单击“选择集合字段”，可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入，即是否在目标端数据集合中直接更新已有数据字段。 Upsert键 仅当“是否upsert”选择开启时需要配置。 选择要更新插入的数据字段。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
MQS 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MQS作为目标端数据源。 在创建任务页面中配置目标端信息。 表16 目标端MQS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MQS数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MQS”。 数据源名称 选择接入数据源中已配置的MQS数据源。 Topic名称 选择要写入数据的Topic名称。 Key 填写消息的Key值，表示消息存储在指定分区，可以当成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
MRS HBase 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS HBase作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号，ROMA Connect会把这三种符号删除，然后再把数据写入MRS HBase。 表19 目标端MRS HBase信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS HBase数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS HBase”。 数据源名称 选择接入数据源中已配置的MRS HBase数据源。 目标端表 选择待集成数据要写入的数据表。 列族 定义写入到目标端数据表的数据列字段。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 字段名：数据列字段的自定义名称。 目标端为MRS HBase的配置示例如下图所示，id、name和info为要写入到MRS HBase数据源的数据字段。 图7 MRS HBase配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
MRS Hive 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS Hive作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号，ROMA Connect会把这三种符号删除，然后再把数据写入MRS Hive。 表17 目标端MRS Hive信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS Hive数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS Hive”。 数据源名称 选择接入数据源中已配置的MRS Hive数据源。 目标端数据库名 选择待集成数据要写入的数据库。 说明： 需要使用自建的数据库，不能使用MRS Hive自带的default数据库。 目标端表 选择待集成数据要写入的数据表。 分隔符 填写MRS Hive数据源中文本数据的字段分隔符，用于区分每行数据中的不同字段。 写模式 选择集成数据写入数据表的模式。 Truncate：删除目标数据表中的所有数据，然后再写入数据。 Append：在已有数据表中增量写入数据。 存储类型 选择写入MRS Hive数据源的数据存储类型，可选择“RCFile”和“Text file”。 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
-
MRS HDFS 返回页首 任务的“集成模式”为“定时”或“实时”时，可以选择MRS HDFS作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号，ROMA Connect会把这三种符号删除，然后再把数据写入MRS HDFS。 表18 目标端MRS HDFS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例，源端实例配置后目标端自动关联，无需配置。 目标端集成应用 选择MRS HDFS数据源所属的集成应用，在接入数据源时已配置。 目标端数据类型 选择“MRS HDFS”。 数据源名称 选择接入数据源中已配置的MRS HDFS数据源。 分隔符 填写MRS HDFS数据源中文本数据的字段分隔符，用于区分每行数据中的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下，待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时，每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型，可选择“文本文件”。 元数据 定义写入到目标端文本数据的数据字段，不同数据字段通过“分隔符”进行分隔。源端有多少个字段需要集成，则目标端需要定义相同个数的元数据。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 目标端为MRS HDFS的配置示例如下图所示，id、name和info为要写入到MRS HDFS数据源的数据字段。 图6 MRS HDFS配置示例 完成目标端信息配置后，继续进行下一部分配置，配置数据映射规则。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
