检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源
使用Kibana查看日志 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。
单击“自动Mapping”,源端和目标端数据字段间的映射规则自动建立。如果两端的数据表字段不一致,您可以单击映射关系右侧的“编辑”,更改源端或目标端数据字段,也可单击下方的“添加字段映射”,增加源端数据字段到目标端数据字段的映射关系。 图1 自动Mapping 手动配置Mapping
在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。 请检查数据源IP是否为客户自有的数据中心或私有网,如果是请先建立VPN连接。 如何创建VPN连接请参考创建VPN连接。
表1 安全组参数 参数 端口 MQS 内网访问端口 9092 MQS 内网SSL模式访问端口 9093 MQS 公网访问端口 9094、9095、9096 MQS 公网SSL模式访问端口 9095、9096、9097 MQS RESTful接口访问端口 9292 可能是配置的Topic有误。
创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。
查看设备 概述 设备创建完成后,用户可以进行设备密码及设备详情查看,强制设备下线或编辑设备信息的操作。 功能介绍 设备创建后,用户可根据实际需要参考下表查看或操作设备。 表1 功能介绍 功能 功能说明 查看设备密码 设备密码可以作为访问设备的凭证。 用户可单击设备密码栏右侧的图标,查看设备密码。
查看实例信息 概述 实例创建完成后,可在控制台查看和编辑实例的配置信息,主要包含基本信息、配置参数、数据字典以及导入导出资产。 操作步骤 在实例控制台的“实例信息”页面中,选择“基本信息”页签,可查看和编辑实例的基本信息。 表1 ROMA Connect基本信息 内容 内容说明 ROMA
查看域名证书 功能介绍 查看域名下绑定的证书详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/apic/instanc
考创建日志流。 日志分析开启后,可以在界面上实时查看所有开放API的调用日志,日志字段说明请参见日志字段说明。 在界面右上角,可选择要查看的日志时间段范围。 单击“查看详细日志”,可前往云日志服务控制台查看日志的详细信息和下载日志到本地。 日志详情中的自定义字段说明: _resource_id:ROMA
API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的操作将桶名和对象名存储到MySql中。其中,对象存储服务 OBS产生的结果是数据映射的源端数据源,MySql是目的端数据源。可以通过使用Open A
Connect上打开公网访问,具体操作步骤请参考查看实例信息。 可能是该实例没有绑定弹性IP(EIP) 请在ROMA Connect上检查实例是否已绑定EIP,未绑定EIP的实例不支持公网访问。 可能是安全组的入方向规则中端口未配置 请在VPC上检查安全组的入方向规则中是否配置了端口,未配置的端口无法进行访问。 父主题:
缺省值:4 表6 Backend 参数 参数类型 描述 ip Array of strings 后端主机地址列表 port Integer 后端服务端口,不存在时使用监听器端口 health_check HealthCheck object 健康检查配置 表7 HealthCheck 参数
后端服务的地址。不使用VPC通道时,url_domain为必填。 由主机(IP或域名)和端口号组成,总长度不超过255。格式为主机:端口(如:apig.example.com:7443)。如果不写端口,则HTTPS默认端口号为443,HTTP默认端口号为80。 支持环境变量,使用环境变量时,每个变量名的长度为3
约束与限制 RocketMQ数据源不支持端口映射的方式接入。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左
表3 云服务器配置 参数 说明 是否备用节点 开启后对应后端服务器为备用节点,仅当非备用节点全部故障时工作。 端口 填写后端服务器的访问端口号,端口为0时使用负载通道的端口。 启停状态 选择是否启用服务器,只有启用后,请求才会分发到该服务器上。 添加后端服务器地址。 单击“添加后端服务器地址”。
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2
获取MQS连接信息 获取连接地址与端口 在ROMA Connect实例控制台的“实例信息”页面,在“基本信息”页签查看MQS连接地址。 使用Kafka客户端内网连接MQS:在“连接地址”下查看消息集成 MQS内网连接地址。 使用Kafka客户端公网连接MQS:在“连接地址”下查看消息集成 MQS公网连接地址。
available”错误 原因分析 可能是以下两种原因导致,请逐一排查: 后端服务无法访问。 ECS安全组未开放需要的端口。 解决方案 请修改后端服务。 修改ECS安全组配置,开放需要的端口。 父主题: 服务集成
选择或者填写要查询的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配置要查询数据的条件值(注意值要用英文单引号包住)。 Order by字段 填写返回结果的排序字段。 Limit条数 填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2