检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MRS Kafka”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息
其中,log目录用于存储Filebeat收集到的日志数据以及其它元数据信息,即使容器Filebeat被删除并重新启动,会继续读取该目录中的内容(如registry),并在收集数据时更新该目录,这样可确保Filebeat只收集新的日志数据,避免将已经发送过的数据再次发送。 执行以下命令为log目录配置权限。
Connect的消息集成MQS完全兼容开源Kafka协议,业务应用需要开发并集成开源Kafka客户端或ROMA Connect提供的RESTful API,实现与MQS的消息连接。 集成开源客户端:业务应用直接集成开源Kafka客户端,并通过客户端连接MQS,实现消息的生产和消费。
“并行处理”是用于创建多个并行处理分支的处理器,以便同时执行多个分支任务。后续步骤如果要使用合并的各分支执行结果,可使用“ROMA表达式”${body}引用合并结果。 配置参数 参数 说明 输出格式 合并结果的格式,当前仅支持“Json”,表示合并结果以JSON字符串的格式输出。 可通过如下两种方法获取某一分支的结果:
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题:
String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID。 表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 待导出的Topic。多个Topic以“,”分隔。默认导出所有的Topic。
使用已订阅的资产 用户可以基于已订阅的资产,快速完成应用和数据集成业务的构建,减少业务的部署时间。 使用已订阅的API资产 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产中心>我的资产”,切换到“我的订阅”页签。 单击需要使用的资产名称,并切换到“API资产”页签。
Kafka业务迁移指将连接其他Kafka的生产与消费消息的客户端切换成连接ROMA Connect,部分还涉及将持久化的消息文件迁移到ROMA Connect上。 在业务迁移过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 迁移准备 确保消息生产与消费客户端与ROMA Connect实例的消息集成
智慧园区集成 园区的智能化管理存在诸多难题: 个性化定制的管理系统阻碍信息采集和信息共享。 例如园区内建筑之间的结构存在差异,企业通过对管理各建筑的子系统进行个性化定制,可以收集到每个建筑中的所有信息。但是个性化定制之后,子系统之间的差异会对信息采集与共享造成阻碍,不能有效的传输信息,降低园区智能化的水平。
默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 地址 填写要接入的OBS桶的Endpoint地址,您可以在OBS控制台上获取。 端口 固定填写443。 Access Key ID 填写OBS桶拥有者的AK,具体获取方式请参考什么是我的凭证。 Secret
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持
配置API的控制策略 配置API的流量控制 配置API的访问控制 配置API的凭据配额控制 配置API的凭据访问控制 父主题: 服务集成指导
配置API的插件策略 配置跨域资源共享策略 配置HTTP响应头管理策略 配置流量控制2.0策略 配置Kafka日志推送策略 配置断路器策略 配置第三方认证策略 配置响应缓存策略 父主题: 服务集成指导
登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例信息界面。 在安全组栏单击安全组名称,如下图的“default”,页面跳转至安全组控制台。 选择“出方向规则”页签,查看创建数据源配置的IP是否在目的地址中。 如果目的地址为0.0.0.0/0则表
套餐包计费:一种预付费模式,即先付费再使用,套餐包是根据购买的套餐包规格提供对应的RCU时额度,新版ROMA Connect实例使用过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。如果有多个实例,则多个实例合并计算RCU数量。套餐包按月购买,当月生效的套餐包额度仅当月有效,额度余量过期失效,不可结转到下月使用。
将API发布到不同的环境后,对于不同的环境,可能会有不同的环境变量,比如,API的服务部署地址,请求的版本号等。 用户可以定义不同的环境变量,用户在定义API时,在API的定义中使用这些变量,当调用API时,服务集成会将这些变量替换成真实的变量值,以达到不同环境的区分效果。 环境变
String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID。 表2 Query参数 参数 是否必选 参数类型 描述 name 是 String 待删除的topic,多个topic以“,”分隔。 请求参数 表3
path String 健康检查时的目标路径。protocol = http或https时必选 method String 健康检查时的请求方法 缺省值:GET port Integer 健康检查的目标端口,缺少或port = 0时为VPC中主机的端口号。 若此端口存在非0值,则使用此端口进行健康检查。
介绍如何通过ROMA Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。 搭建企业业务开放中台 介绍如何通过服务集成的API级联能力,把子公司A和子公司B
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务