华为云用户手册

MongoDB 返回页首 任务的“集成模式”为“定时”时，可以选择MongoDB作为源端数据源。 在创建任务页面中配置源端信息。 表16 源端MongoDB信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MongoDB数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MongoDB”。 数据源名称 选择接入数据源中已配置的MongoDB数据源。 选择源端集合 选择MongoDB数据源中要获取数据的数据集合（数据集合相当于关系型数据库的数据表）。选择数据集合后，单击“选择集合字段”，可以选择只需要集成的数据列字段。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 时间戳字段 仅当“是否增量迁移”选择开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MongoDB数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后，导致ROMA Connect查询源端增量数据出现遗漏，可通过时间补偿进行调整。获取数据的结束时间为当前系统时间减去时间补偿值。 例如，上一次增量迁移任务的结束时间是15:05，本次定时任务在17:00触发，时间补偿设为100ms，则本次增量迁移任务要集成数据的时间区间为“15:05~（17:00-100ms）”。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为MongoDB的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

MySQL 返回页首 任务的“集成模式”为“定时”时，可以选择MySQL作为源端数据源。 在创建任务页面中配置源端信息。 表15 源端MySQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MySQL数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择MySQL数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择MySQL数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合数据集成条件，请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。 若选择的时间戳字段类型为timestamp，时区需选择+0时区避免出现查询不到数据。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如，条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 以上面JSON格式数据中含数组的样例为例，源端为MySQL的配置示例如下所示。 增量迁移配置示例，数据表中需包含DATE、TIME或TIMESTAMP类型的字段，用作时间戳字段。 图9 MySQL增量迁移配置示例 扩展元数据配置示例，从数据表的desc字段中获取子元素c和d。 图10 MySQL扩展元数据配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

Kafka 返回页首 任务的“集成模式”为“实时”时，可以选择Kafka作为源端数据源。ROMA Connect的消息集成属于Kafka类型数据源。 在创建任务页面中配置源端信息。 表13 源端Kafka信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择Kafka数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“Kafka”。 数据源名称 选择接入数据源中已配置的Kafka数据源。 Topic名称 选择要获取数据的Topic名称。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 数据类型 选择从Kafka数据源获取的数据格式类型，需要与Kafka实际存储的数据格式一致。当“是否解析”选择“是”时，可选择“JSON”和“XML”；当“是否解析”选择“否”时，可选择“JSON”、“XML”和“二进制文件”。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 时区 选择Kafka数据源使用的时区，以便ROMA Connect识别数据的时间戳。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为Kafka的配置示例如下图所示。 图7 Kafka配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

IBM MQ 返回页首 任务的“集成模式”为“实时”时，可以选择IBM MQ作为源端数据源。 在创建任务页面中配置源端信息。 表12 源端IBM MQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择IBM MQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“IBM MQ”。 数据源名称 选择接入数据源中已配置的IBM MQ数据源。 目标端类型 选择IBM MQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为IBM MQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

HL7 返回页首 任务的“集成模式”为“实时”时，可以选择HL7作为源端数据源。 在创建任务页面中配置源端信息。 表11 源端HL7信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择HL7数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“HL7”。 数据源名称 选择接入数据源中已配置的HL7数据源。 编码方式 选择HL7数据源的数据文件编码方式，可选择“UTF-8”和“GBK”。 元数据 指从源端获取到的HL7消息数据中，要集成到目标端的数据字段。 别名：对元数据的自定义名称。 类型：元数据的数据类型。 解析路径：元数据在HL7消息中的位置，具体请参见如下的元数据路径配置说明。 元数据路径配置说明： MSH|^~\\&|hl7Integration|hl7Integration|||||ADT^A01|||2.3| EVN|A01|20191212155644 PID|||PATID1234^5^M11||FN^Patrick^^^MR||19700101|1|||xx Street^^NY^^Ox4DP||||||| NK1|1|FN^John^^^MR|Father||999-9999 NK1|2|MN^Georgie^^^MSS|Mother||999-9999 HL7消息的元数据解析路径需要根据Terser语法规范填写。以上述HL7消息为例，每一行代表一个信息段。每个信息段都是由三个大写字母起始，为信息段的段落符号，用于表明该信息段的内容。每一段内使用分隔符来划分信息段： | ：字段分隔符，把信息段划分为不同的字段。每个信息段中的字段以数字来标识位置，从1开始（不包括段落符号），以此类推。 ^：组件分隔符，把字段的内容划分为不同的组件。划分了组件的字段中，组件的位置以数字来标识，从1开始，以此类推。 ~：子组件分隔符，把组件划分为不同的子组件。 例如，PID信息段中，“19700101”的字段位置为7，则其解析路径为“/PID-7”；“xx Street”的字段位置为11，组件位置为1，则其解析路径为“/PID-11-1”。 对于HL7消息中段落符号相同的信息段，通过在段落符号后添加带括号的数字来标识重复的段落符号。重复的段落符号中 ，第一个为(0)，第二个为(1)，以此类推。 例如，NK1信息段中，“Father”位于第一个NK1信息段中，字段位置为3，则其解析路径为“NK1(0)-3”；同理，“Mother”的解析路径为“NK1(1)-3”。 以上述HL7消息示例中“19700101”和“xx Street”字段的读取为例，源端为HL7的配置示例如下图所示。 图6 HL7配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

FTP 返回页首 任务的“集成模式”为“定时”时，可以选择FTP作为源端数据源。 在创建任务页面中配置源端信息。 表8 源端FTP信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择FTP数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“FTP”。 数据源名称 选择接入数据源中已配置的FTP数据源。 文件路径 填写FTP服务器中要访问的文件夹路径，例如“/data/FDI”。 文件名称 填写要获取数据的数据文件名称，若不填写，则获取所有文件的数据。 文件名称字符编码 选择数据文件的名称编码方式。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 最大文件大小 设置要获取数据的文件大小限制，超过限制的文件将不获取。 文件内容字符编码 仅当“是否解析”选择“是”时需要配置。 选择数据文件的内容编码格式。 文件分割符 仅当“是否解析”选择“是”时需要配置。 填写数据文件中的字段分隔符，用于区分每行数据中的不同字段。 空格格式符 仅当“是否解析”选择“是”时需要配置。 填写数据文件中定义的空格字符，供ROMA Connect识别文件内容中的空格。例如，定义空格格式符为英文句号（.），那么在获取数据时，读取到英文句号（.）时，则认为是空格。 跳过文件头 仅当“是否解析”选择“是”时需要配置。 选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 跳过文件头行数 仅当“跳过文件头”选择“是”时需要配置。 填写数据文件中文件头信息的行数，方便ROMA Connect识别文件中的数据起始行。 迁移数量 设置要获取数据的数量。 “是否解析”选择“是”时，表示解析的数据行数。 “是否解析”选择“否”时，表示读取的文件数量。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的数据文件中，要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 源端为FTP的配置示例如下图所示，id、name和info为从FTP数据源获取，并要集成到目标端的数据字段。 图5 FTP配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

Gauss100 返回页首 任务的“集成模式”为“定时”时，可以选择Gauss100作为源端数据源。 在创建任务页面中配置源端信息。 表9 源端Gauss100信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择Gauss100数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“Gauss100”。 数据源名称 选择接入数据源中已配置的Gauss100数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 Schema 仅当“插入SQL”选择不开启时需要配置。 选择表Schema。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择Gauss100数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择Gauss100数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为Gauss100的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

HANA 返回页首 任务的“集成模式”为“定时”时，可以选择HANA作为源端数据源。 在创建任务页面中配置源端信息。 表10 源端HANA信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择HANA数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“HANA”。 数据源名称 选择接入数据源中已配置的HANA数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择HANA数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择HANA数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中DATE、TIME或TIMESTAMP类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为HANA的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

DB2 返回页首 任务的“集成模式”为“定时”时，可以选择DB2作为源端数据源。 在创建任务页面中配置源端信息。 表4 源端DB2信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择DB2数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“DB2”。 数据源名称 选择接入数据源中已配置的DB2数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如，语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DB2数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以只选择需要集成的数据列字段，例如：ID。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 配置要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DB2数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 用于校验数据行是否符合增量集成条件，请选择一个“DATE”类型的字段。如果时间戳字段和时间戳初始值填写不完整，此任务默认为全量集成。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。 类型：JSON格式字段值中，要采集的数据元素的数据类型。 解析路径：数据元素在JSON格式值中的完整路径，具体请参见扩展元数据解析路径配置说明。 扩展元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 此场景下，元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为DB2的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

DWS 返回页首 任务的“集成模式”为“定时”时，可以选择DWS（ 数据仓库 服务）作为源端数据源。 在创建任务页面中配置源端信息。 表5 源端DWS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择DWS数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“DWS”。 数据源名称 选择接入数据源中已配置的DWS数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启，表示ROMA Connect根据填写的SQL语句来获取源端数据。 不开启，表示ROMA Connect根据界面配置的条件来获取源端数据。 若选择开启，则还需要填写查询数据的SQL语句。填写的语句必须为select语句并包含where条件，不能使用insert、update、delete、drop等语句。单击“检测SQL”，可以检测语句的有效性。 例如：语句SELECT col01, col02 FROM table01 WHERE col02 IN('A', 'B', 'C') ORDER BY col01，表示从table01数据表中选取col01和col02这两列的数据，筛选列col02中值为A、B或C的数据行，并按照列col01的值进行顺序排列。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DWS数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以选择只需要集成的数据列字段。 按字段排序 仅当“插入SQL”选择不开启时需要配置。 要集成的数据是否按字段排序。若需要对集成的数据进行排序，则需要选择排序的参照字段，并选择“升序”或“降序”排序。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据，后续每一次调度采集的数据是上次采集的最后一条数据的入库时间到当前调度时间之间的数据。 时区 仅当“是否增量迁移”选择开启时需要配置。 选择DWS数据源使用的时区，以便ROMA Connect识别数据的时间戳。 时间戳字段 仅当“是否增量迁移”选择开启且“插入SQL”不开启时需要配置。 选择数据表中“DATE”类型的字段作为源端数据的时间戳，用来判断数据是否满足增量集成的条件。 时间戳初始值 仅当“是否增量迁移”选择开启时需要配置。 首次集成数据时，要集成数据的起始时间，即只集成该时间点之后的数据。 重置迁移时间初始值 该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启：开启后，增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭：关闭时，增量迁移时每次调度的开始时间为上一次调度的结束时间。 条件筛选 仅当“插入SQL”选择不开启时需要配置。 添加要集成数据的筛选条件，只把满足条件的源端数据集成到目标端。 例如：条件“and | col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 增量迁移不支持将源端数据表中的物理删除操作同步给目标端，建议在源端使用逻辑删除。 对于源端的数据变更，需要同步更新数据行的时间戳，ROMA Connect通过时间戳与任务执行时间点进行对比，识别需增量迁移的数据。 源端为DWS的配置与MySQL的类似，配置示例可参考MySQL配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

DIS 返回页首 任务的“集成模式”为“实时”时，可以选择DIS（ 数据接入服务 ）作为源端数据源。 在创建任务页面中配置源端信息。 表6 源端DIS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择DIS数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“DIS”。 数据源名称 选择接入数据源中已配置的DIS数据源。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 数据类型 仅当“是否解析”选择“是”时需要配置。 选择从DIS数据源获取的数据格式类型，需要与DIS实际存储的数据格式一致。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 时区 选择DIS数据源使用的时区，以便ROMA Connect识别数据的时间戳。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为DIS的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

ArtemisMQ 返回页首 任务的“集成模式”为“实时”时，可以选择ArtemisMQ作为源端数据源。 在创建任务页面中配置源端信息。 表3 源端ArtemisMQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择ArtemisMQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“ArtemisMQ”。 数据源名称 选择接入数据源中已配置的ArtemisMQ数据源。 目标端类型 选择ArtemisMQ数据源的消息传递模型，可选择“Topic”和“Queue”。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 源端为ArtemisMQ的配置与ActiveMQ的类似，配置示例可参考ActiveMQ配置示例。 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

ActiveMQ 返回页首 任务的“集成模式”为“实时”时，可以选择ActiveMQ作为源端数据源。 在创建任务页面中配置源端信息。 表2 源端ActiveMQ信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择ActiveMQ数据源所属的集成应用，在接入数据源时已配置。 源端数据类型 选择“ActiveMQ”。 数据源名称 选择接入数据源中已配置的ActiveMQ数据源。 目标端类型 选择ActiveMQ数据源的消息传递模型，支持“Topic”和“Queue”两种消息传递模型。 目标端名称 填写要获取数据的Topic或Queue名称，请确保该Topic或Queue已存在。 是否解析 获取到的源端数据是否由ROMA Connect做进一步的数据解析。 若选择是，则ROMA Connect根据配置的解析规则，对获取到的源端数据解析后再集成到目标端。 若选择否，则ROMA Connect会直接透传获取到的源端数据，并集成到目标端。 数据根字段 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，元数据集上层公共字段的路径。“数据根字段”与元数据的“解析路径”组合，即为元数据的完整路径，具体请参见元数据解析路径配置说明。 元数据 仅当“是否解析”选择“是”时需要配置。 指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明： JSON格式数据中不含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b.c，元素d的完整路径为a.b.d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": { "c": "xx", "d": "xx" } } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b.c，元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c，元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c，元素d的解析路径需设置为d。 JSON格式数据中含数组 如以下JSON格式数据，元素a的完整路径定义为a，元素b的完整路径为a.b，元素c的完整路径为a.b[i].c，元素d的完整路径为a.b[i].d。元素c和d为底层数据元素，即需要通过ROMA Connect集成到目标端的数据。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 此场景下，对于数据根字段和解析路径有三种配置方案： 数据根字段不设置 元素c的解析路径需要设置为a.b[i].c，元素d的解析路径需设置为a.b[i].d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b[i].c，元素d的解析路径需设置为b[i].d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为[i].c，元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例，源端为ActiveMQ的配置示例如下图所示。 图4 ActiveMQ配置示例 完成源端信息配置后，继续进行下一部分配置，配置目标端数据信息。

概述 本节主要提供数据集成任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据，包括数据源、数据格式、数据范围等。对于不同的数据源类型，其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型 API DB2 DWS DM FTP Gauss100 HANA LDAP MySQL MongoDB MRS Hive MRS HDFS MRS HBase OBS Oracle PostgreSQL SAP SNMP SQL Server GaussDB (for MySQL) 自定义数据源 ActiveMQ ArtemisMQ DIS HL7 IBM MQ Kafka MQS MRS Kafka RabbitMQ RocketMQ WebSocket

脚本配置示例 { "breaker_condition":{ "breaker_type":"timeout", "breaker_mode":"counter", "unhealthy_threshold":30, "time_window":15, "open_breaker_time":15, "unhealthy_percentage":51, "min_call_threshold":20 }, "scope":"share", "downgrade_default":{ "type":"http", "passthrough_infos":null, "func_info":null, "mock_info":null, "http_info":{ "isVpc":false, "vpc_channel_id":"", "address":"10.10.10.10", "scheme":"HTTP", "method":"GET", "path":"/demo", "timeout":5000 }, "http_vpc_info":null }, "downgrade_parameters":[ { "name":"reqPath", "type":"path", "value":"path", "disabled":true, "focused":true, "id":"92002eqbpilg6g" }, { "name":"method", "type":"method", "value":"method", "disabled":true, "focused":true, "id":"tuvxetsdqvcos8" }], "downgrade_rules":[ { "rule_name":"rule-test1", "parameters":[ "reqPath", "method" ], "match_regex":"[\"reqPath\",\"==\",\"/test\"]", "downgrade_backend":{ "type":"mock", "passthrough_infos":null, "func_info":null, "mock_info":{ "status_code":200, "result_content":"{status: ok}", "headers":[] }, "http_info":null, "http_vpc_info":null }, "breaker_condition":{ "breaker_type":"timeout", "breaker_mode":"percentage", "unhealthy_threshold":30, "time_window":15, "open_breaker_time":15, "unhealthy_percentage":51, "min_call_threshold":20 } }] }

使用须知 目标实例必须与弹性云服务器在同一个虚拟私有云和子网内才能访问。 弹性云服务器必须处于目标实例所属安全组允许访问的范围内。 场景一：如果目标实例所属安全组为默认安全组， 则无需设置安全组规则。 场景二：如果目标实例所属安全组非默认安全组，请查看安全组规则是否允许该弹性云服务器访问。 如果安全组规则允许弹性云服务器访问，即可连接实例。 如果安全组规则不允许弹性云服务器访问，需要在实例安全组添加一条“入”的访问规则。 设置安全组的具体操作请参考配置安全组规则。

AOF导入GeminiDB Redis 用户上传数据源AOF文件到E CS 上。 在ECS上启动开源Redis 5.0单机进程，加载AOF并等待启动完成。开源Redis的启动目录需为AOF文件所在的目录。 通过SAVE命令生成数据快照，等待RDB文件生成完毕。RDB文件在Redis的启动目录下。 停止开源Redis 5.0单机进程。 按照RDB导入GeminiDB Redis进行迁移。 注：使用redis-shake v2迁移过程中，常见问题及解决方法请参考redis‐shake 2.x 常见问题。

GeminiDB Cassandra各版本的生命周期规划 EOM：End of Marketing，停止该版本的销售。 EOS：End of Service & support，停止该版本的服务，建议您在执行作业时选择最新版本的引擎。在该日期之后，不再提供该软件版本的任何技术服务支持。 表1 GeminiDB Cassandra各版本生命周期规划表 版本 当前状态 华为云商用时间 计划EOM时间 计划EOS时间 3.11 已商用 2019年12月 2026年9月 2027年9月 4.0 已商用 2019年12月 2026年9月 2027年9月

GeminiDB Influx内核版本发布说明 本章节介绍GeminiDB Influx的内核版本更新说明。 表1 GeminiDB Influx版本说明 版本 日期 特性描述 1.8 2024-2-30 新特性及性能优化： 支持IPv6 2023-7-30 新特性及性能优化： 支持latest函数 1.7 2023-06-30 新特性及性能优化： 单节点实例支持选购冷存储，通过极简配置实现冷热数据分离，从而降低存储成本。 当单节点实例申请的冷存储空间不能满足业务需求时，支持扩容冷存储。 事件监控提供了事件类型数据上报、查询和告警的功能。 2023-04-30 新特性及性能优化： 云数据库 GeminiDB管理控制台购买InfluxDB单节点的数据库实例。 2023-03-30 新特性及性能优化： 支持操作系统更新，以提高数据库性能和数据库的整体安全状况。 2022-01-30 新特性及性能优化： 支持批量续费、退订、按需计费转包年/包月、包年/包月转按需计费操作。 2021-07-30 新特性及性能优化： 支持选购冷存储，通过极简配置实现冷热数据分离，从而降低存储成本。 当实例申请的冷存储空间不能满足业务需求时，支持扩容冷存储。 2021-06-30 新特性及性能优化： 购买集群实例时，实例名称支持中文。 支持修改安全组。 2021-04-30 新特性及性能优化： 支持数据备份和恢复，以保证数据可靠性。 2021-01-30 新特性及性能优化： 支持通过实例操作列执行规格变更、添加节点和磁盘扩容操作。 2020-11-30 新特性及性能优化： 支持实例添加节点，满足业务需求。 支持修改用户创建的数据库参数模板中的参数值，确保数据库实例发挥出最优性能。 2020-10-30 新特性及性能优化： 扩容磁盘支持每次至少选择1GB扩容量。 2020-09-30 新特性及性能优化： 如果资源配额限制无法满足使用需要时，支持申请扩大配额。 根据可能需要支持重启数据库实例。 2020-08-30 新特性及性能优化： 以方便区分和识别实例，支持修改数据库实例名称。 支持将删除的实例，加入回收站管理，可以在回收站中重建实例恢复数据。 支持包周期计费模式。 支持查看实例的各项监控指标。 2020-07-30 新特性及性能优化： 支持通过公网方式连接实例。 支持跨AZ级容灾。 父主题： 版本发布说明

GeminiDB Cassandra内核版本发布说明 本章节介绍GeminiDB Cassandra的内核版本更新说明。 表1 GeminiDB Cassandra版本说明 版本 日期 特性描述 3.11，4.0 2024-06-30 新特性及性能优化： 支持Lucene搜索索引列全局排序能力。 2024-03-30 新特性及性能优化： FLASHBACK：支持秒级数据恢复功能 。 PITR：支持指定任意时间点恢复数据功能。 2023-07-30 新特性及性能优化： 流控功能增强。 新增基于本地快照恢复功能。 优化创建跨Region双活过程中的CPU消耗。 2023-06-30 新特性及性能优化： 优化内存使用，对于集群中创建满表的情况优化效果明显。 2023-05-30 新特性及性能优化： 新增一些元数据相关运维命令 日志使用异步打印。 2023-04-30 新特性及性能优化： 新增稳定性优化、EVS探测以及RTO优化。 新增监控项：单行删除操作每分钟量、范围删除操作的请求数。 新增事件项：Keyspace中的墓碑数目超过阀值时产生告警，大列超过阀值时产生告警。 2023-03-30 新特性及性能优化： 优化系统健康监视器。 增加客户端连接监听功能。 增加运维System Monitor开关，是否开启可在Cassandra.yaml 中配置。 2023-01-30 新特性及性能优化： 同分区删除过多场景下，增加告警监控，增加日志。 灾备同步模块优化：重试次数可配，重试范围缩小。 增加系统表定期Compaction。 写入请求较少的表的增加定期Flush。 Rebalance优化。 新增灾备实例/多活实例Schema不一致时修复工具。 2022-11-30 新特性及性能优化： 具有灾备关系的主备实例间，节点传输文件按照总文件大小切分。 具有灾备关系的主备实例间，增加多连接并行传输文件。 具有灾备关系的主备实例间，增加限速模块。 具有灾备关系的主备实例间，增加异常时消息重试。 2022-10-30 新特性及性能优化： Lucene分页查询优化，增加补偿机制， 解决Lucene实时性导致的删除未生效时，分页查询中断问题。 Lucene查询新增Offset功能。 Lucene分裂重构。 2022-09-30 新特性及性能优化： 支持Periodic Compaction。Compaction线程空闲时触发Periodic Compaction。 存储加密特性。 JVM垃圾回收策略优化。 2022-07-30 新特性及性能优化： Lucene支持使用Json扩展语义。 Lucene表支持备份恢复。 Lucene写线程池优化，优化单节点访问时延。 2022-06-30 新特性及性能优化： 优化：Drop列后，Compaction功能会释放存储空间。 优化SinglePartition查询逆序返回时延。 增加自动Compaction解决系统表墓碑多问题。 2022-05-30 新特性及性能优化： 新特性异地双活特性。 2022-03-30 新特性及性能优化： 增加IO线程健康监控。 优化分裂特性。 2022-01-30 新特性及性能优化： 新特性Lucene特性。 2021-12-30 新特性及性能优化： 优化主备同步模块内存使用。 优化缩容节点期间的RTO。 修复Map/Set类型中空Value序列化问题。 2021-11-30 修复问题： 修复灾备场景下，切流时偶现失败问题。 增强CDC表在特殊场景下稳定性。 2021-11-15 新特性及性能优化： 优化CDC表中含有NULL列问题。 增加CDC表的主动Compact功能。 优化主备同步模块的对比机制性能。 2021-06-30 新特性及性能优化： Range查询优化。 5min增备、恢复性能优化。 故障节点RTO优化。 数据库内存使用优化。 主备同步模块性能优化。 2021-04-30 新特性及性能优化： 支持Arm版本。 2021-02-28 新特性及性能优化： 主备容灾实例数据同步模块性能优化。 2020-12-30 新特性及性能优化： 增加分裂特性。 优化CDC表查询性能问题。 优化大Key场景的查询性能。 Compaction性能优化。 2020-11-30 新特性及性能优化： 新增CDC功能。 流控特性增强。 细粒度权限控制。 2020-09-30 新特性及性能优化： 增加限流告警。 2020-08-30 新特性及性能优化： 增加备份、恢复功能。 优化多个故障节点RTO。 增加限流保护机制。 2020-07-30 新特性及性能优化： 增加自动Rebalance功能。 增加存储满只读特性。 2020-06-30 新特性及性能优化： 缩短单个故障节点RTO。 2020-05-30 新特性及性能优化： 增加流表功能。 新增主备容灾功能。 增加主备容灾实例主备一致性检测功能。 2020-04-30 新特性及性能优化： 增加Showclients功能。 优化内存使用。 2020-03-30 新特性及性能优化： 支持大Key检测。 支持自动Compact资源使用优化。 增加无损升级功能。 2020-02-09 新特性及性能优化： Cache使用优化。 Copy导出时长优化。 2019-12-06 新特性及性能优化： 支持存算分离架构。 高度兼容Cassandra协议。 父主题： 版本发布说明

GeminiDB Redis内核版本发布说明 本章节介绍GeminiDB Redis的内核版本更新说明。如需查看不同版本所支持redis的命令，请参考命令兼容列表 。 表1 GeminiDB Redis版本说明 版本 日期 特性描述 6.2 2024-06-30 新特性及性能优化： 新增SINTERCARD命令支持。 优化pipeline的性能。 新增LMPOP命令支持。 优化连接的开销。 6.2 2024-05-30 新特性及性能优化： 新增DB映射能力。 优化内存加速的整体性能。 新增数据快速恢复能力。 优化内存加速对DDL语句的支持。 6.2 2024-04-30 新特性及性能优化： 新增SCRIPT FLUSH命令对SYNC/ASYNC参数的支持。 优化布隆过滤器的性能。 新增BF.CARD命令支持。 优化EXISTS命令在BITMAP类型上的实现。 新增STRALGO命令支持。 优化FASTLOAD功能的性能。 优化阻塞命令的性能和稳定性。 新增指定Partition执行SCAN命令的能力。 新增内存加速功能。 问题修复： 修复部分命令重命名时可能出现的问题。 6.2 2024-02-30 新特性及性能优化： 全面兼容开源6.2版本。 新增支持从RDB格式文件离线导入数据的功能。 优化ZRANGE命令的性能。 问题修复： 修复HASH类型处理FIELD过期的性能问题。 5.0 2023-12-30 新特性及性能优化： 优化数据迁移的性能和稳定性。 新增COPY命令支持。 新增LUA脚本内容获取的能力。 新增MOVE命令对EXHASH类型的支持。 新增支持IPv6的能力。 问题修复： 修复KEYSCAN命令的性能问题。 5.0 2023-11-30 新特性及性能优化： 新增热key统计能力。 优化高性能内存查询引擎对ZSET类型的支持。 优化高性能内存查询引擎对MOVE命令的兼容性。 问题修复： 修复RANDOMKEY命令可能返回nil的问题。 5.0 2023-10-30 新特性及性能优化： 优化高性能内存查询引擎对ZSET/SET类型的支持。 优化SET类型部分命令的性能。 问题修复： 修复LIST类型并发访问时可能出现的问题。 修复SET类型Restore命令可能写入错误的问题。 修复bigkeys/dbsize sync命令在大key数量较多时的问题。 5.0 2023-09-30 新特性及性能优化： 优化主备版性能。 优化LUA脚本执行的性能。 5.0 2023-08-01 新特性及性能优化： 优化阻塞命令的兼容性。 新增Key熔断功能。 优化内存查询引擎的性能 优化Role/Command/Touch命令的兼容性。 新增跨链接SCAN的能力。 新增ACL鉴权直达DB的能力。 新增禁用全部命令的功能。 支持OPS执行重启实例的功能。 问题修复： 修复阻塞命令可能报错的问题。 修复单机版在事务中执行Select命令可能出现错误的问题。 5.0 2023-06-30 新特性及性能优化： 新增Renamenx命令。 新增在事务中执行Select命令。 新增Hyerloglog编码, 完全兼容开源实现，并支持数据互迁。 新增Role命令支持。 新增Command Help命令支持。 新增跨链接Scan能力的支持。 问题修复： 修复小规格下Client命令潜在的问题。 修复Pfadd命令的返回值不兼容问题。 修复ZSET类型处理正负无穷时可能出错的问题。 2023-05-30 新特性及性能优化： 新增新的Bitmap类型编码, 提高Setbit/Getbit命令的性能。 新增Getex/Getdel/Lpos/Lmove命令的支持。 新增Set命令的Get/Exat/Pxat选项。 优化审计日志功能。 问题修复： 修复数据迁出可能出现的问题。 2023-04-30 新特性及性能优化： 新增SSL与非SSL连接并存的能力。 新增支持Sscan/Hscan/Zscan跨链接访问的能力。 问题修复： 修复SSL场景下可能导致Proxy阻塞的问题。 2023-02-28 新特性及性能优化： 新增高性能内存查询引擎，加速ZSET类型的读操作。 优化数据迁移的配置参数。 2023-01-30 问题修复： 修复LIST类型Restore命令可能写入错误的问题。 2022-12-30 新特性及性能优化： 新增STREAM类型Xread命令的Block选项。 优化Info命令的兼容性。 问题修复： 修复SSL场景下可能导致Proxy阻塞的问题。 2022-11-30 新特性及性能优化： 优化小规格实例的性能和稳定性。 问题修复： 修复Bloom Fitler类型无法数据迁移的问题。 2022-10-30 新特性及性能优化： 新增ACL只读账户的特性。 新增增量迁出能力。 新增免密白名单。 新增存储层加密。 新增Bigkeys命令，查询数据库中存在的大Key。 新增Restore命令支持全部类型数据结构。 优化Client Kill命令的兼容性支持。 2022-09-30 新特性及性能优化： 新增Georaduis_ro, Georadiusbymember_ro命令的支持。 新增Client Id/Info/Getname/Setname命令的支持。 新增大Key审计日志的能力。 降低CPU的消耗。 优化Dump命令的兼容性。 优化对Cluster/Sentinel SDK相关的兼容性。 问题修复： 修复Bloom Filter在异常场景下可能出现的问题。 修复Scan类命令处理特殊字符可能出现的问题。 2022-08-30 新特性及性能优化： 新增Keys命令的支持。 新增Notify Expire的支持。 问题修复： 修复阻塞命令Timeout参数可能出现的溢出问题。 2022-07-30 新特性及性能优化： 新增Bloom Fitler相关命令的支持。 新增Lpop/Rpop命令的Count选项支持。 2022-06-30 新特性及性能优化： 新增Dump命令的支持。 新增Key-notify功能的支持。 2022-05-30 新特性及性能优化： 新增多DB支持, 支持Select命令。 新增允许在只读模式下执行删除类命令。 优化Cluster-redis SDK相关的兼容性。 优化Info命令的兼容性。 问题修复： 修复Script Kill命令的提示信息兼容性问题。 2022-04-30 新特性及性能优化： 新增Unlink命令支持。 新增LIST类型阻塞命令的支持。 优化Scan命令前缀匹配模式的性能。 问题修复： 修复事务相关的若干问题。 2022-03-30 新特性及性能优化： 优化ZSET相关命令的性能。 优化Rename性能。 2022-02-28 新特性及性能优化： 新增Command命令支持。 2022-01-30 新特性及性能优化： 新增Rename命令支持。 新增事务相关的命令支持。 新增Client List命令的支持。 新增审计日志功能。 新增防暴力破解能力。 优化内部故障探测时间，缩短RTO。 问题修复： 修复Del命令和Exists命令的兼容性问题。 修复鉴权失败场景下可能出现的回包错误。 2021-12-30 新特性及性能优化： 新增LUA脚本相关命令支持。 新增SSL连接加密功能。 新增慢日志查询功能。 新增Info Cluster命令的支持，支持Spark接入。 问题修复： 修复Expire命令和Incr命令可能出现的整型溢出问题。 修复Scan命令对于包含特殊字符的Key处理错误的问题。 2021-11-30 新特性及性能优化： 优化计算层数据压缩中压缩、解压的效率。 优化内部集群故障接管场景的RTO。 问题修复： 修复GEO, STREAM类型命令的兼容性问题。 修复Scan命令可能无法扫全数据的问题。 2021-10-30 新特性及性能优化： 优化Flushall的性能。 问题修复： 修复使用Linsert插入元素时元素乱序的问题。 2021-09-30 新特性及性能优化： 新增对Redis-cluster SDK的兼容。 2021-08-30 新特性及性能优化： 新增对2U规格的支持。 优化内部的锁的范围。 问题修复： 修复Xread命令的兼容性问题。 2021-07-30 新特性及性能优化： 新增Time命令。 新增对Pipeline的支持。 问题修复： 修复Geoadd命令没有校验经纬度的问题。 修复Zscan可能出现的死循环问题。 2021-06-30 新特性及性能优化： 新增实例只读模式。 新增计算层数据压缩。 新增客户端连接超时检查。 优化慢日志的打印逻辑。 问题修复： 修复Sdiff命令可能落在错误分区的问题。 父主题： 版本发布说明

返回值 正常 201 异常 返回值 说明 400 Bad Request 请求错误。 401 Unauthorized 未提供认证信息，或认证信息错误。 403 Forbidden 请求页面被禁止访问。 408 Request Timeout 请求超出了服务器的等待时间。 429 Too Many Requests 当前请求过多。 500 Internal Server Error 请求未完成，服务异常。 503 Service Unavailable 系统暂时不可用，请求受限。

请求消息 单次POST请求消息体大小不能超过512KB，否则请求会被服务端拒绝。 POST请求发送周期应小于最小聚合周期，否则会出现聚合数据点不连续。例如：聚合周期为5分钟，发送周期为7分钟，则5分钟情况的聚合数据会出现每10分钟才出现一个点。 POST请求体中时间戳（collect_time）的值必须从当前时间的前三天到当前时间后的十分钟之内某一时间，如果不在这个范围内，则不允许插入指标数据。 请求参数 表2 参数说明 名称 参数类型 是否必选 说明 数组元素 Array of objects 是 添加一条或多条自定义指标监控数据。 单次POST请求消息体大小不能超过512KB 详细参数请参见表3。 表3 数组元素 名称 是否必选 参数类型 说明 metric 是 Object 指标数据。 详细参数请参见表4。 ttl 是 Integer 数据的有效期，超出该有效期则自动删除该数据，单位秒，取值范围(0-604800]。 collect_time 是 Long 数据收集时间 UNIX时间戳，单位毫秒。 说明： 因为客户端到服务器端有延时，因此插入数据的时间戳应该在[当前时间-3天+20秒，当前时间+10分钟-20秒]区间内，保证到达服务器时不会因为传输时延造成数据不能插入数据库。 value 是 Double 待添加的监控指标数据的值。 数值类型支持“整数”或“浮点数”。 unit 否 String 数据的单位。 最大长度为32位。 type 否 String 枚举型。 取值范围： int float 表4 metric字段数据结构说明 名称 是否必选 参数类型 说明 namespace 是 String 自定义的命名空间，各服务命名空间请参考支持监控的服务列表。 格式为service.item；service和item必须是字符串，必须以字母开头，只能包含0-9/a-z/A-Z/_，service.item总长度最短为3，最大为32，其中service不能为“SYS”、“AGT”和“SRE”，namespace不能为SERVICE.BMS，因为此namespace已被系统使用。 当alarm_type为(EVENT.SYS| EVENT.CUSTOM)时允许为空。 dimensions 是 Array of objects 指标的维度，目前最大支持3个维度。 详细参数请参见表5。 metric_name 是 String 指标ID，例如弹性云服务器的监控指标CPU使用率，对应的metric_name为cpu_util。各服务监控指标请参考支持监控的服务列表。 表5 dimensions字段数据结构说明 名称 是否必选 参数类型 说明 name 是 String 监控维度名称，例如弹性云服务器的维度为instance_id。各服务维度请参考支持监控的服务列表，可参考维度中key字段。 必须以字母开头，只能包含0-9/a-z/A-Z/_/-，长度最短为1，最大为32。 value 是 String 维度取值，例如弹性云服务器的ID。 必须以字母或数字开头，只能包含0-9/a-z/A-Z/_/-，长度最短为1，最大为256。 请求样例 请求样例一：添加自定义的维度instance_id为6f3c6f91-4b24-4e1b-b7d1-a94ac1cb011d的监控指标数据cpu_util。 [ { "metric": { "namespace": "MINE.APP", "dimensions": [ { "name": "instance_id", "value": "6f3c6f91-4b24-4e1b-b7d1-a94ac1cb011d" } ], "metric_name": "cpu_util" }, "ttl": 172800, "collect_time": 1463598260000, "type": "float", "value": 0.09, "unit": "%" }, { "metric": { "namespace": "MINE.APP", "dimensions": [ { "name": "instance_id", "value": "6f3c6f91-4b24-4e1b-b7d1-a94ac1cb011d" } ], "metric_name": "cpu_util" }, "ttl": 172800, "collect_time": 1463598270000, "type": "float", "value": 0.12, "unit": "%" } ] 请求样例二：添加关系型数据库的维度rds_cluster_id为3c8cc15614ab46f5b8743317555e0de2in01的监控指标数据rds021_myisam_buf_usage。 [ { "metric": { "namespace": "SYS.RDS", "dimensions": [ { "name": "rds_cluster_id", "value": "3c8cc15614ab46f5b8743317555e0de2in01" } ], "metric_name": "rds021_myisam_buf_usage" }, "ttl": 172800, "collect_time": 1463598260000, "type": "float", "value": 0.01, "unit": "Ratio" } ] 请求样例三：添加分布式缓存服务的维度dcs_instance_id为1598b5d4-3cb5-4f4d-8d99-2425d8e9ed54和dcs_cluster_redis_node为6666cd76f96956469e7be39d750cc7d9的监控指标数据connections_usage。 [ { "metric": { "namespace": "SYS.DCS", "dimensions": [ { "name": "dcs_instance_id", "value": "1598b5d4-3cb5-4f4d-8d99-2425d8e9ed54" }, { "name": "dcs_cluster_redis_node", "value": "6666cd76f96956469e7be39d750cc7d9" } ], "metric_name": "connections_usage" }, "ttl": 172800, "collect_time": 1463598260000, "type": "float", "value": 8.3, "unit": "%" } ]

请求示例 URI样例 查询数据库慢日志： GET https://gaussdb-nosql.cn-north-4.myhuaweicloud.com/v3/0483b6b16e954cb88930a360d2c4e663/instances/6ade8143870047b8999aba8f1891b48ein06/slowlog?start_date=2018-08-06T10:41:14+0800&end_date=2018-08-07T10:41:14+0800 URI样例 根据指定条件查询数据库慢日志： GET https://gaussdb-nosql.cn-north-4.myhuaweicloud.com/v3/0549b4a43100d4f32f51c01c2fe4acdb/instances/6ade8143870047b8999aba8f1891b48ein06/slowlog?type=SELECT&offset=1&limit=20&node_id=a7c84462483642798cf159237343135fno06&start_date=2018-08-06T10:41:14+0800&end_date=2018-08-07T10:41:14+0800

响应示例 状态码： 200 Success { "total_record" : 1, "slow_log_list" : [ { "time" : "513 ms", "database" : "cassandra", "query_sample" : "SELECT * FROM cassandra.sz_user LIMIT 100;", "type" : "SELECT", "start_time" : "2020-11-15T22:49:38.643000Z" } ] }

响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 slow_log_list Array of SlowlogResult objects 具体信息。 total_record Integer 总记录数。 表5 SlowlogResult 参数 参数类型 描述 time String 执行时间。 database String 所属数据库。 query_sample String 执行语法。 type String 语句类型。 start_time String 发生时间，UTC时间。

请求示例 URI样例 POST https://gaussdb-nosql.cn-north-7.myhuaweicloud.com/v3/054e292c9880d4992f02c0196d3ea468/instances/a4d8ea2584e047439a667703c0684119in06/backups 创建手动备份 { "name" : "创建手动备份", "description" : "创建手动备份", }

请求示例 URI样例 PUT https://gaussdb-nosql.cn-north-7.myhuaweicloud.com/v3/619d3e78f61b4be68bc5aa0b59edcf7b/instances/944bdc55da6c4b33b260b34185ac86bein13/cold-volume 扩容实例的冷数据存储空间至1000GB { "size" : 1000 }

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户token。 表3 请求Body参数 参数 是否必选 参数类型 描述 size 是 Integer 待扩容后冷存储空间大小，单位：GB。 用户每次至少选择1GB扩容量，且必须为整数。 待扩容后的冷数据存储空间最大规格为100000GB。 is_auto_pay 否 String 扩容包年/包月实例的冷数据存储容量时可指定，表示是否自动从账户中支付，此字段不影响自动续订的支付方式。 true，表示自动从账户中支付。 false，表示手动从账户中支付，默认为该方式。

URI DELETE https://{Endpoint}/v3/{project_id}/instances/{instance_id}/enlarge-failed-nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的project ID。获取方法请参见获取项目ID。 instance_id 是 String 实例ID，可以调用查询实例列表和详情接口获取。如果未申请实例，可以调用创建实例接口创建。