华为云用户手册

  • 前提条件 已参考准备资源章节准备虚拟机资源。 有可用的VPC,并且已配置好子网与安全组,否则请参考准备资源完成VPC、子网和安全组,以及边缘节点的创建注册自建边缘节点。 已创建云连接实例,云连接域间带宽建议至少20Mbit/s,配置方法请参考配置域间带宽。 创建实例时会使用智能边缘平台IEF的容器应用,需要单独付费。计费模式如下: 套餐包计费模式:已购买套餐包。购买后,会根据实际使用情况从套餐包中直接扣费。 按需计费模式:未购买套餐包,根据实际使用情况进行扣费。 具体计费详情请参考智能边缘平台IEF。 如果用户准备的虚拟机无法通过公网访问IEF时,可以选择通过私网访问。私网访问需要满足以下条件: 已通过专线或VPN连接IEF,连接步骤参考通过专线或VPN链接IEF。 有创建多活实例的配额,否则可以删除无用实例,以空出实例配额,或者申请扩大配额。 已创建好边缘版站点并完成初始化IEF配置。
  • 查看评估报告 评估报告展示了应用评估的基本信息,包括名称、评估项、评估结果、评估得分等信息。还包括总览、韧性评估风险项、RTO/RPO评估详情三个页签。 在“应用详情”页面,单击“评估历史”页签。 单击评估历史名称,进入评估报告界面。 查看评估报告的基本信息以及总览、韧性评估风险项、RTO/RPO评估详情三个页签。 表2 评估报告功能页签 功能页签 功能介绍 总览 展示云服务资源的韧性评估结果总览、未评估资源总览、RTO/RPO评估总览。 韧性评估风险项 展示云服务资源韧性评估的评估项、风险等级、风险名称、优化建议等数据。通过“纳入评估”开关,可以控制该将风险项是否纳入下次风险评估。 RTO/RPO评估详情 展示云服务资源的RTO/RPO评估详情。
  • 到期后影响 图1描述了包年/包月ROMA Connect实例各个阶段的状态。购买后,在计费周期内实例正常运行,此阶段为有效期;实例到期而未续费时,将陆续进入宽限期和保留期。 图1 包年/包月ROMA Connect实例生命周期 到期预警 包年/包月ROMA Connect实例在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为账号的创建者。 到期后影响 当您的包年/包月ROMA Connect实例到期未续费,首先会进入宽限期,资源状态变为“已过期”。宽限期内您可以正常访问实例。 如果您在宽限期内仍未续费包年/包月ROMA Connect实例,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后,若包年/包月ROMA Connect实例仍未续费,那么ROMA Connect实例将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。
  • 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测:如果能预测到业务高峰期,如电商促销季、节假日等,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。
  • 计费周期 包年/包月ROMA Connect实例的计费周期是根据您购买的时长来确定的(以GMT+8时间为准)。一个计费周期的起点是您开通或续费资源的时间(精确到秒),终点则是到期日的23:59:59。 例如,如果您在2023/10/16 15:50:04购买了一个时长为一个月的ROMA Connect实例,那么其计费周期为:2023/10/16 15:50:04 ~ 2023/11/16 23:59:59。
  • 计费示例 假设您在2023/10/16 15:50:04购买了一个包年/包月ROMA Connect实例(规格:基础版,不包括应用业务模型ABM)。购买时长为一个月,并在到期前手动续费1个月,则: 第一个计费周期为:2023/10/16 15:50:04 ~ 2023/11/16 23:59:59 第二个计费周期为:2023/11/16 23:59:59 ~ 2023/12/16 23:59:59 您需要为每个计费周期预先付费,计费公式为实例规格单价 * 购买时长。 例如该实例包月的价格为40000 元/月,则上述两个计费周期的总费用为40000 * 2=80000(元)。
  • 续费相关的功能 包年/包月实例续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月实例从购买到被自动删除之前,您可以随时在控制台为ROMA Connect实例续费,以延长实例的使用时间。 自动续费 开通自动续费后,实例会在每次到期前自动续费,避免因忘记手动续费而导致实例被自动删除。 在一个包年/包月实例生命周期的不同阶段,您可以根据需要选择一种方式进行续费,具体如图1所示。 图1 实例生命周期 实例从购买到到期前,处于正常运行阶段,实例状态为“运行中”。 到期后,实例状态变为“已过期”。 到期未续费时,实例首先会进入宽限期,宽限期到期后仍未续费,实例状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,实例将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在实例到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至实例到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。
  • 计费示例 假设您在2023/11/28 15:50:04购买了一个RCU时 套餐包(规格:100RCU时/月),购买时长为两个月,那么其计费周期为:2023/11/28 15:50:04 ~ 2024/01/28 23:59:59 您需要为计费周期预先付费,计费公式为RCU时 套餐包规格单价 * 购买时长。 例如该RCU 套餐包的价格为294 元/月,则上述计费周期的总费用为294 * 2=588(元)。
  • 计费周期 新版ROMA Connect实例的RCU时 套餐包计费周期是根据您购买的时长来确定的(以GMT+8时间为准)。一个计费周期的起点是您开通资源的时间(精确到秒),终点则是到期日的23:59:59。 例如,如果您在2023/11/28 15:50:04购买了一个时长为两个月的RCU时 套餐包,那么其计费周期为:2023/11/28 15:50:04 ~ 2024/01/28 23:59:59 购买2个月,则可连续使用2个生效月,每月套餐内规格相同,上个生效月余量不可结转到下个生效月。
  • 响应示例 状态码: 200 OK { "product_id" : 122893, "service_id" : 10190, "service_name" : "s1", "description" : null, "status" : 0, "created_user" : { "user_id" : "", "user_name" : "user" }, "last_updated_user" : { "user_id" : "", "user_name" : "user" }, "created_datetime" : 1607502702474, "last_updated_datetime" : 1607572282845 } 状态码: 400 Bad Request { "error_code" : "SCB.00000000", "error_msg" : "Parameter is not valid for operation [romalink.link-services.updateService]. Parameter is [service_id]. Processor is [path].", "request_id" : "cb39e78a-afd3-4e04-901d-70468b1c23dc-1619602712496-cnnorth7a-P-romalink-service01" } 状态码: 404 Not Found { "error_code" : "ROMA.00110006", "error_msg" : "The resource does not exist. Check whether the resource ID 1 is correct.", "request_id" : "13984193-ca65-4954-9b7f-4b7d680399d6-1619678681445-cnnorth7a-P-romalink-service01" } 状态码: 500 Internal Server Error { "error_code" : "ROMA.00110002", "error_msg" : "The instance does not exist. project_id: 397cd10b30544c588b2f4a56d83856c4, instance_id: f3bb386a-23ec-47aa-9943-4c60ac658611", "request_id" : "c8c06d0a-be92-4fdf-9d10-bc20131ab158-1619593104919-cnnorth7a-P-romalink-service01" }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 product_template_id Integer 服务归属的产品模板ID。 最小值:1 最大值:99999999999999999 product_id Integer 服务归属的产品ID。 最小值:1 最大值:99999999999999999 service_id Integer 服务ID。 最小值:1 最大值:99999999999999999 service_name String 服务名称,支持中文、英文大小写、数字、下划线和中划线,长度2-64。 最小长度:2 最大长度:64 description String 服务描述,长度0-200。 最小长度:0 最大长度:200 status Integer 服务状态,0-启用,1-停用。 最小值:0 最大值:10 created_user CreatedUser object 创建时的用户。 last_updated_user LastUpdatedUser object 最后更新时的用户。 created_datetime Long 创建时间止,格式timestamp(ms),使用UTC时区。 最小值:1 最大值:99999999999999999 last_updated_datetime Long 最后修改时间止,格式timestamp(ms),使用UTC时区。 最小值:1 最大值:99999999999999999 表5 CreatedUser 参数 参数类型 描述 user_id String 用户ID(保留字段,未使用)。 最小长度:0 最大长度:64 user_name String 用户名。 最小长度:0 最大长度:64 表6 LastUpdatedUser 参数 参数类型 描述 user_id String 用户ID(保留字段,未使用)。 最小长度:0 最大长度:64 user_name String 用户名。 最小长度:0 最大长度:64 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 系统错误码,针对4xx和5xx类HTTP错误码的详细错误码。 最小长度:0 最大长度:64 error_msg String 错误描述。 最小长度:0 最大长度:200 request_id String 消息ID。 最小长度:0 最大长度:64 状态码: 404 表8 响应Body参数 参数 参数类型 描述 error_code String 系统错误码,针对4xx和5xx类HTTP错误码的详细错误码。 最小长度:0 最大长度:64 error_msg String 错误描述。 最小长度:0 最大长度:200 request_id String 消息ID。 最小长度:0 最大长度:64 状态码: 500 表9 响应Body参数 参数 参数类型 描述 error_code String 系统错误码,针对4xx和5xx类HTTP错误码的详细错误码。 最小长度:0 最大长度:64 error_msg String 错误描述。 最小长度:0 最大长度:200 request_id String 消息ID。 最小长度:0 最大长度:64
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用 IAM 服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:100000 表3 请求Body参数 参数 是否必选 参数类型 描述 service_name 是 String 服务名称,支持中文、英文大小写、数字、下划线和中划线,长度2-64。 最小长度:2 最大长度:64 description 否 String 服务描述,长度0-200。 最小长度:0 最大长度:200 status 是 Integer 服务状态,0-启用,1-停用。 最小值:0 最大值:10
  • 自定义数据源 返回页首 任务的“集成模式”为“定时”时,可以选择自定义数据源作为目标端数据源。 在创建任务页面中配置目标端信息。 表29 目标端自定义数据源信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择自定义数据源所属的集成应用,在接入数据源时已配置。 目标数据类型 选择具体自定义数据源类型。 数据源名称 选择接入数据源中已配置的自定义数据源。 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 除了以上参数外,不同自定义数据源会定义不同的写端参数,请按照连接器原始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到自定义数据源所使用的连接器,查看连接器的“写端参数定义”信息。 以一个发送邮件的自定义数据源为例,目标端为自定义数据源的配置示例如下图所示。其中receiver和title参数为连接器中定义的目标端参数,id、name和info为要写入到自定义数据源的数据字段。 图13 自定义数据源配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • GaussDB (for MySQL) 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择GaussDB(for MySQL)作为目标端数据源。 在创建任务页面中配置目标端信息。 表28 目标端GaussDB(for MySQL)信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择GaussDB(for MySQL)数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“GaussDB(for MySQL)”。 数据源名称 选择接入数据源中已配置的GaussDB(for MySQL)数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • RabbitMQ 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择RabbitMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表26 目标端RabbitMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择RabbitMQ数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“RabbitMQ”。 数据源名称 选择接入数据源中已配置的RabbitMQ数据源。 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是,表示创建一个新队列,并把待集成数据发送到该队列。 选择否,表示把待集成数据发送到已有队列。 交换方式 选择RabbitMQ数据源中,交换器将消息转发到队列的路由方式。若“是否创建新队列”选择“是”,则选择新队列的交换方式;若“是否创建新队列”选择“否”,则选择已有目标队列一致的交换方式。 Direct:若消息的路由关键字与队列完全匹配,则消息会转发到队列。 Topic:若消息的路由关键字与队列模糊匹配,则消息会转发到队列。 Fanout:所有消息都会转发到队列。 Headers:若消息的Headers属性与队列完全匹配,则消息会转发到队列。 交换机名称 填写RabbitMQ数据源的交换器名称。若“是否创建新队列”选择“是”,则配置新队列的交换器名称;若“是否创建新队列”选择“否”,则配置已有目标队列一致的交换器名称。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 RabbitMQ把路由关键字作为判断条件,符合条件的消息将转发到队列。若“是否创建新队列”选择“是”,则配置新队列的路由关键字;若“是否创建新队列”选择“否”,则配置已有目标队列一致的路由关键字。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 RabbitMQ把Headers作为判断条件,符合条件的消息将转发到新队列。若“是否创建新队列”选择“是”,则配置新队列的Headers键值对;若“是否创建新队列”选择“否”,则配置已有目标队列一致的Headers键值对。 队列名称 仅当“是否创建新队列”选择“是”时需要配置。 填写新队列的名称,自定义。 自动删除 当没有客户端连接队列时,队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d,元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例,目标端为RabbitMQ的配置示例如下图所示。 图12 RabbitMQ配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • SQL Server 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择SQL Server作为目标端数据源。 在创建任务页面中配置目标端信息。 表27 目标端SQL Server信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择SQL Server数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“SQL Server”。 数据源名称 选择接入数据源中已配置的SQL Server数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • RocketMQ 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择RocketMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表25 目标端RocketMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择RocketMQ数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“RocketMQ”。 数据源名称 选择接入数据源中已配置的RocketMQ数据源。 Topic 主题字符串/队列名称. 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d,元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 目标端为RocketMQ的配置示例如下图所示。 图11 RocketMQ配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • Oracle 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择Oracle作为目标端数据源。 在创建任务页面中配置目标端信息。 表22 目标端Oracle信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择Oracle数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“Oracle”。 数据源名称 选择接入数据源中已配置的Oracle数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 说明: 主键字段对应的源端字段如果为空,该条记录会默认抛弃,不会产生调度日志错误码。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • Redis 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择Redis作为目标端数据源。 在创建任务页面中配置目标端信息。 表24 目标端Redis信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择Redis数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“Redis”。 数据源名称 选择接入数据源中已配置的Redis数据源。 key前缀 填写Redis数据源中存储待集成数据的key名称前缀,“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称,每一行数据作为key的value存储到Redis中。具体key格式请参考key和value格式说明。 key后缀字段 选择源端数据中值不允许重复的字段作为key后缀,“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称,如此可以确保每一行数据都能被集成到Redis数据源的不同key中。 “数据类型”选择“List”、“Set”或“ZSet”时,“key后缀字段”可以为空,即只由“key前缀”生成一个key,此时所有数据行作为元素被集成到Redis数据源的同一个key中。 分隔符 仅当“key后缀字段”不为空时需要配置。 填写“key前缀”与“key后缀字段”之间的分隔符,“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称。 数据类型 选择Redis数据源中key的数据类型。支持以下类型: String List Map Set ZSet List追加方式 仅当“数据类型”选择“List”时需要配置。 选择List类型key的数据追加写入方式。 lpush:表示当前数据插入到List的头部。 rpush:表示当前数据插入到List的尾部。 sortColumn 仅当“数据类型”选择“ZSet”时需要配置。 选择使用源端哪一个数据字段进行数据元素的排序。 失效时间(秒) Redis数据源中key的失效时间,0表示永不失效。 写入格式 仅当“数据类型”选择“String”、“List”、“Set”或“ZSet”时需要配置,“数据类型”选择“Map”时默认为JSON格式。 选择待集成数据写入Redis数据源的数据格式,可选择“JSON”和“CUSTOMIZE”。 元数据 定义写入到目标端key的value格式。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 若“写入格式”为“JSON”,则元数据以JSON格式在Redis数据源中作为key的value存储。若“写入格式”为“CUSTOMIZE”,则自定义目标端value的拼接格式,全部元数据与拼接前缀、拼接后缀进行拼接,并在Redis数据源中作为key的value存储。具体value格式请参考key和value格式说明。 key和value格式说明: 假设有如下源端数据,目标端信息中“key前缀”设置为“roma”,选择源数据的唯一键“aaa”字段作为“key后缀字段”,确保key名称不重复,并设置“|”作为key前缀与后缀的分隔符。 +-------+-------+ | aaa | bbb | +-------+-------+ | 1 | x | | 2 | y | | 3 | z | +-------+-------+ 若“数据类型”为“String”,“写入格式”为“JSON”,元数据配置如图9所示,则写入到Redis数据源中的key和value如下。 key value -------------------------------- roma|1 "{"bbb":"x","aaa":1}" roma|2 "{"bbb":"y","aaa":2}" roma|3 "{"bbb":"z","aaa":3}" 图9 元数据配置(JSON) 若“数据类型”为“String”,“写入格式”为“CUSTOMIZE”,元数据配置如图10所示,则写入到Redis数据源中的key和value如下。 key value ------------------------ roma|1 "bbb_x&aaa_1" roma|2 "bbb_y&aaa_2" roma|3 "bbb_z&aaa_3" 图10 元数据配置(CUSTOMIZE) 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择PostgreSQL作为目标端数据源。 在创建任务页面中配置目标端信息。 表23 目标端PostgreSQL信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择PostgreSQL数据源所属的集成应用。 目标端数据类型 选择“PostgreSQL”。 数据源名称 选择已配置的PostgreSQL数据源。 目标端表 选择待集成数据要写入的数据表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MRS Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MRS Kafka作为目标端数据源。 在创建任务页面中配置目标端信息。 表20 目标端MRS Kafka信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MRS Kafka数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MRS Kafka”。 数据源名称 选择接入数据源中已配置的MRS Kafka数据源。 Topic名称 填写用户在MRS Kafka服务已创建的Topic名称,不可随意自定义。 Key 填写消息的Key值,表示消息存储在指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 目标端为MRS Kafka的配置与Kafka的类似,配置示例可参考Kafka配置示例。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源。 在创建任务页面中配置目标端信息。 表21 目标端OBS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择OBS数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“OBS”。 数据源名称 选择接入数据源中已配置的OBS数据源。 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。 选择写入OBS数据源的数据文件编码方式,可选择“UTF-8”和“GBK”。 Path 填写数据要写入OBS数据源的数据文件所在路径。Path的值不能以斜杠(/)结尾,不能设置为OBS桶的根目录。 文件名前缀 填写文件名前缀,与“时间格式”配合使用,用于定义写入OBS数据源的文件名称。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于定义数据写入OBS数据源的文件名称。 文件类型 选择写入OBS数据源的数据文件格式,文本文件支持txt和csv格式,二进制文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。 选择是否配置文件的高级属性。 换行符 仅当“高级属性”选择“是”时需要配置。 填写文件内容的换行符,用于区分文件中的不同数据行。 使用包围符 仅当“高级属性”选择“是”时需要配置。 若选择“是”,则数据文件中的每个数据字段都会用双引号(")包围。若数据字段中存在与分隔符、换行符相同的符号时,可以避免字段被错误的拆分为2个字段。例如源数据中有1个数据字段aa|bb,在集成到目标数据文件时设置了|为分隔符,如果选择使用包围符,则目标数据文件中该字段为"aa|bb",不会被拆分为aa和bb两个字段。 字段分隔符 仅当“文件类型”选择“txt”或者“高级属性”选择“是”时需要配置。 填写文件内容的字段分隔符,用于区分每行数据中的不同字段。 是否添加文件头 选择是否为写入的数据文件添加文件头。文件头为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。 文件头 仅当“是否添加文件头”选择“是”时需要配置。 填写文件头的内容信息,多个文件头信息需要用英文逗号(,)隔开。 元数据 定义写入到目标端文件的数据字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 支持以下类型: String: 字符串类型。 Double: 浮点数类型。 Date: 日期时间类型。 Boolean: 布尔类型。 Long: 整数类型。 若不确定具体的数据类型,可选择String类型。 目标端为OBS的配置示例如下图所示,id、name和info为要写入到OBS数据源的数据字段。 图8 OBS配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MRS HDFS 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MRS HDFS作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号,ROMA Connect会把这三种符号删除,然后再把数据写入MRS HDFS。 表18 目标端MRS HDFS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MRS HDFS数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MRS HDFS”。 数据源名称 选择接入数据源中已配置的MRS HDFS数据源。 分隔符 填写MRS HDFS数据源中文本数据的字段分隔符,用于区分每行数据中的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下,待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时,每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型,可选择“文本文件”。 元数据 定义写入到目标端文本数据的数据字段,不同数据字段通过“分隔符”进行分隔。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 目标端为MRS HDFS的配置示例如下图所示,id、name和info为要写入到MRS HDFS数据源的数据字段。 图6 MRS HDFS配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MongoDB 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MongoDB作为目标端数据源。 在创建任务页面中配置目标端信息。 表15 目标端MongoDB信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MongoDB数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MongoDB”。 数据源名称 选择接入数据源中已配置的MongoDB数据源。 选择目标端集合 选择MongoDB数据源中要写入数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入,即是否在目标端数据集合中直接更新已有数据字段。 Upsert键 仅当“是否upsert”选择开启时需要配置。 选择要更新插入的数据字段。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MQS 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MQS作为目标端数据源。 在创建任务页面中配置目标端信息。 表16 目标端MQS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MQS数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MQS”。 数据源名称 选择接入数据源中已配置的MQS数据源。 Topic名称 选择要写入数据的Topic名称。 Key 填写消息的Key值,表示消息存储在指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MRS HBase 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MRS HBase作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号,ROMA Connect会把这三种符号删除,然后再把数据写入MRS HBase。 表19 目标端MRS HBase信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MRS HBase数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MRS HBase”。 数据源名称 选择接入数据源中已配置的MRS HBase数据源。 目标端表 选择待集成数据要写入的数据表。 列族 定义写入到目标端数据表的数据列字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 字段名:数据列字段的自定义名称。 目标端为MRS HBase的配置示例如下图所示,id、name和info为要写入到MRS HBase数据源的数据字段。 图7 MRS HBase配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MRS Hive 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MRS Hive作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号,ROMA Connect会把这三种符号删除,然后再把数据写入MRS Hive。 表17 目标端MRS Hive信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MRS Hive数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MRS Hive”。 数据源名称 选择接入数据源中已配置的MRS Hive数据源。 目标端数据库名 选择待集成数据要写入的数据库。 说明: 需要使用自建的数据库,不能使用MRS Hive自带的default数据库。 目标端表 选择待集成数据要写入的数据表。 分隔符 填写MRS Hive数据源中文本数据的字段分隔符,用于区分每行数据中的不同字段。 写模式 选择集成数据写入数据表的模式。 Truncate:删除目标数据表中的所有数据,然后再写入数据。 Append:在已有数据表中增量写入数据。 存储类型 选择写入MRS Hive数据源的数据存储类型,可选择“RCFile”和“Text file”。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • HL7 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择HL7作为目标端数据源。 在创建任务页面中配置目标端信息。 表10 目标端HL7信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择HL7数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“HL7”。 数据源名称 选择接入数据源中已配置的HL7数据源。 编码方式 选择HL7数据源的数据文件编码方式,可选择“UTF-8”和“GBK”。 消息类型编码 选择待集成数据的消息类型,用于定义消息的目的和用途,需要根据HL7协议的定义进行设置。 触发事件类型 选择该消息类型下的对应事件类型,需要根据HL7协议的定义进行设置。 协议版本号 选择HL7数据源所使用的HL7协议版本号。 元数据 定义写入到目标端的HL7消息数据字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型。 解析路径:元数据在HL7消息中的位置,具体请参见如下的元数据路径配置说明。 元数据路径配置说明: MSH|^~\\&|hl7Integration|hl7Integration|||||ADT^A01|||2.3| EVN|A01|20191212155644 PID|||PATID1234^5^M11||FN^Patrick^^^MR||19700101|1|||xx Street^^NY^^Ox4DP||||||| NK1|1|FN^John^^^MR|Father||999-9999 NK1|2|MN^Georgie^^^MSS|Mother||999-9999 HL7消息的元数据解析路径需要根据Terser语法规范填写。以上述HL7消息为例,每一行代表一个信息段。每个信息段都是由三个大写字母起始,为信息段的段落符号,用于表明该信息段的内容。每一段内使用分隔符来划分信息段: | :字段分隔符,把信息段划分为不同的字段。每个信息段中的字段以数字来标识位置,从1开始(不包括段落符号),以此类推。 ^:组件分隔符,把字段的内容划分为不同的组件。划分了组件的字段中,组件的位置以数字来标识,从1开始,以此类推。 ~:子组件分隔符,把组件划分为不同的子组件。 例如,PID信息段中,“19700101”的字段位置为7,则其解析路径为“/PID-7”;“xx Street”的字段位置为11,组件位置为1,则其解析路径为“/PID-11-1”。 对于HL7消息中段落符号相同的信息段,通过在段落符号后添加带括号的数字来标识重复的段落符号。重复的段落符号中 ,第一个为(0),第二个为(1),以此类推。 例如,NK1信息段中,“Father”位于第一个NK1信息段中,字段位置为3,则其解析路径为“NK1(0)-3”;同理,“Mother”的解析路径为“NK1(1)-3”。 以上述HL7消息示例中“19700101”和“xx Street”字段的写入为例,目标端为HL7的配置示例如下图所示。 图4 HL7配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择Kafka作为目标端数据源。 在创建任务页面中配置目标端信息。 表13 目标端Kafka信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择Kafka数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“Kafka”。 数据源名称 选择接入数据源中已配置的Kafka数据源。 Topic名称 选择要写入数据的Topic名称。 Key 填写消息的Key值,表示消息存储在指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 目标端为Kafka的配置示例如下图所示,id、name和info为要写入到Kafka数据源的数据字段。 图5 Kafka配置示例 写入Kafka的消息内容结构为{"id":"xx", "name":"yy", "info":"zz"},其中xx、yy、zz为从源端传入的数据值。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • HANA 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择HANA作为目标端数据源。 在创建任务页面中配置目标端信息。 表11 目标端HANA信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择HANA数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“HANA”。 数据源名称 选择接入数据源中已配置的HANA数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
共100000条