检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存在乱序问题。但是该方案中需要等待消费者业务直至消费完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。 此方案适用于对消息顺序有要求,却对端到端时延不敏感的业务。 迁移流程 将生产客户端的Kafka连接地址修改为ROMA Connect实例的消息集成MQS连接地址。
sub:拥有订阅权限。 tag 否 String 标签列表,权限类型对应的标签。 当权限类型是all时,发布和订阅的标签用符号“&”隔开。 当有多个标签时,标签用符号“||”隔开。 规则:仅能包含数字、字母、中划线(-)、下划线(_),长度不超过48。 响应参数 状态码: 400 表5
专用Region。 详情请参见区域和可用区。 可用区(AZ,Availability Zone) 一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本(Broker),可单击“添加地址”填写多个连接地址。 是否SASL_SSL ROMA Connect与Kafka的连接是否使用SASL_SSL认证加密。
在左侧的导航栏选择“数据集成 FDI > 任务管理”。 在任务管理页面中启动任务,您可以根据集成模式、任务状态和任务名称等筛选查找要启动的任务。 数据集成任务有两种启动方式。 启动任务,任务按照所属集成模式的机制运行。 在数据集成任务左侧勾选上要启动的任务,单击任务列表上方的“启动”,启动任务。任务启动成功后,“任务状态”变为“启动”。
面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
公共请求消息头 名称 描述 是否必选 示例 Content-Type 发送的实体的MIME类型。推荐用户默认使用application/json,有其他取值时会在具体接口中专门说明。 是 application/json X-Project-Id project id,项目编号。请参考获取项目ID章节获取项目编号。
是否为创建Topic时所选择的应用。 默认为false。 tag 否 String 权限类型对应的标签。 当权限类型是all时,发布和订阅的标签用符号“&”隔开。 当有多个标签时,标签用符号“||”隔开。 响应参数 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写MongoDB的连接地址和端口号,格式为:IP:PORT。 如果MongoDB有多个副本集,可单击“添加地址”填写多个连接地址。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 认证源 填写用于接入认
e名称,请确保该Topic或Queue已存在。 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。
选择自定义后端的导出类型。 全量导出:导出所有自定义后端。 集成应用:导出指定集成应用下的自定义后端。 说明: 选择全量导出时,若不同集成应用下的自定义后端有相同的请求路径,则相同请求路径的自定义后端只能导出其中的一个。 集成应用 仅当“导出类型”选择“集成应用”时需要配置。 选择要导出的自定义后端所属的集成应用。
在导出后端页面中,配置导出相关信息。 表2 导出自定义后端 参数 说明 导出类型 选择自定义后端的导出类型。 全量导出:导出所有自定义后端。 若不同集成应用下的自定义后端有相同的请求路径,则相同请求路径的自定义后端只能导出其中的一个。 集成应用:导出指定集成应用下的自定义后端。 集成应用 仅当“导出类型”选择“集成应用”时需要配置。
Meta-data说明 参数 是否必选 参数类型 描述 name 是 String 数据字段名称。 type 是 String 字段值类型。支持的类型有:String,Integer,Date和Long。 format 否 String 数据的格式化字符串。当字段值为Date类型时,需要填写该值,用于描述字符串的格式。
填写短信模板变量值。列表中变量值的个数及长度必须和“模板ID”对应模板内容中定义的变量个数及长度保持一致。 例如“模板ID”对应的模板内容有2个变量且变量长度分别为5和6,则此处需要设置2个变量值且内容长度分别小于等于5和6。 如模板内容为“您有${1}件快递请到${2}领取”时,该参数可填写为'["3"
据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集成任务: 创建数据集成任务:普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持源端一个数据表到目标端一个数据表的集成同步。 创建数据
在“数据库角色成员身份”中选择“db_datareader”、“db_owner”和“public”。 配置完成后单击“确定”即可。 后续操作 如果系统表结构发生了变化或者有表级别调整,则需要重新开启CDC配置,配置步骤如下: 先关闭CDC配置,请根据实际情况填写schema和name。 EXEC sys.sp_cdc_disable_table
e名称,请确保该Topic或Queue已存在。 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。
单击任务调度器至目标端数据源节点的连线进行配置,配置信息请参考配置目标端数据信息,配置完成后单击“确定”。 单击页面右上方“”,查看是否存在错误的配置信息。 有,重新对错误节点进行配置。 无,执行下一步。 单击页面右上方的“保存”,保存编排任务。 父主题: 创建数据集成任务(编排任务)
or is not in JSON format, The error key is <key>. 请求消息体不是JSON格式或字段非法,有明确的错误字段。 请检查错误字段。 400 MQS.00400099 MQS instances in the Creating, Starting
页面选择对应的实例类型,单击“添加实例/批量添加”,在“添加实例”弹窗中各属性值填写完成。 若所增加的实例类型在模型架构中对其他类型的实例有依赖关系,则在高级属性页面中,单击“+”,选择所要依赖的资产实例。 “添加实例”页面中相关信息填写完成后,单击确定;在右侧模型实例详情单击上架,上架该模型实例。