检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目的端 本实践中把数据转发到ROMA Connect的消息集成MQS,此处选择“ROMA MQS”。 连接地址 选择当前ROMA Connect实例的“消息集成 MQS内网连接地址”,您可以在ROMA Connect实例控制台的“实例信息”页面中查看得到。 Topic名称 选择1中创建的消息Topic。
最大长度:2147483647 address 否 String 地址。 OBS (obs远端地址,obs数据源使用)。 MONGODB (MONGODB数据源类型主机IP地址,多个IP:PORT,使用","隔开)。 REDIS (redis服务地址,多个IP:PORT,使用","隔开)。 最小长度:0
Connect实例可能会归属到不同的VPC上,而且每个ROMA Connect实例都有自己的访问地址。某个子公司或部门要通过内网访问其他子公司或部门的开放API,就需要打通到多个不同VPC的网络,访问多个不同的地址,在操作配置上十分复杂。 不同子公司或部门在开放API时,定义的API认证方式、格
和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写RocketMQ的连接IP地址和端口号。 数据源的接入配置示例如下所示。 图1 RocketMQ数据源配置示例 RocketMQ数据源不支持端口映射的方式接入。
//10.10.10.1:3306/testfdi?characterEncoding=utf8 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时可配置。
最大长度:2147483647 address String 地址。 OBS (obs远端地址,obs数据源使用)。 MONGODB (MONGODB数据源类型主机IP地址,多个IP:PORT,使用","隔开)。 REDIS (redis服务地址,多个IP:PORT,使用","隔开)。 最小长度:0
默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 URL 填写服务器的IP地址和端口,格式为:ldap://ip:port。 ip为数据库的访问地址。 port为数据库的访问端口。 安全认证类型 数据库的安全认证类型,目前仅支持“Simple”。 用户名
技术支持。 缺省值:false member_group_name 否 String 后端服务器组名称。为后端服务地址选择服务器组,便于统一修改对应服务器组的后端地址。 status 否 Integer 后端服务器状态 1:可用 2:不可用 port 否 Integer 后端服务器端口
和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 地址 填写要接入的OBS桶的Endpoint地址,您可以在OBS控制台上获取。 端口 固定填写443。 Access Key ID 填写OBS桶拥有者的AK,具体获取方式请参考什么是我的凭证。
息是按UTF-8编码方式计算字节长度。 配置参数说明 表1 配置参数 参数 配置说明 策略基本信息 Broker地址 日志要推送的目标Kafka连接地址列表,多个地址间以英文逗号(,)隔开。 Topic主题 日志要推送的目标Kafka Topic名称。 Key 填写消息的Key值
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的端口。 客户端ID 填
} } } 示例代码中的参数说明,可参考获取MQS连接信息获取参数值。 bootstrap_servers:MQS连接地址和端口。 topic:要生产消息的Topic名称。 SaslUsername和SaslPassword:开启SASL_SSL认证时所使用的用户名和密码。
实例ID 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Long 偏移量,表示从此偏移量开始查询,偏移量小于0时,自动转换为0 缺省值:0 limit 否 Integer 每页显示的条目数量 最小值:1 最大值:500 缺省值:20 name 否 String
单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。
查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。
acl_value 是 String ACL策略值,支持一个或多个值,使用英文半角逗号分隔。 entity_type为IP时,策略值需填写IP地址,最多可支持100个IP地址。 entity_type为DOMAIN时,策略值需填写账号名,账号支持除英文半角逗号以外的任意ASCII字符,账号名长度限
print('end producer') 示例代码中的参数说明,可参考获取MQS连接信息获取参数值。 bootstrap_servers:MQS连接地址和端口。 topic_name:要生产消息的Topic名称。 sasl_plain_username和sasl_plain_passwor
和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写RabbitMQ的连接IP地址和端口号。 用户名 填写连接RabbitMQ的用户名。 密码 填写连接RabbitMQ的用户密码。 虚拟主机 填写要连接的RabbitMQ虚拟主机名称。
和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 选择当前实例下MQS的内网连接地址。 是否SSL ROMA Connect与MQS的连接是否使用SSL认证加密。 当MQS开启了SSL且VPC内网明文访问
选择“Kafka”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 Brokers地址 填写Kafka的Brokers地址。 认证方式 选择Kafka的认证方式。 SSL认证 无认证 SASL鉴权方式 仅当“认证方式”选择“SSL认证”时需要配置。