检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中,password为数据库root用户的密码,可向数据库管理员获取。
对于实时数据源,当前自定义连接器不支持直接接入,只能通过消息中转的方式进行接入。本章节以MQS数据源类型为例进行开发,示例使用Java语言进行开发,Demo代码参考RealtimeConnector.rar。 前提条件 准备装有1.8及以上版本JDK的Linux服务器。 IntelliJ IDEA版本为:2018
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
置。 使用IP调用DEFAULT分组的API ROMA Connect允许使用IP地址调用DEFAULT分组下的API,无需另外配置。 使用IP调用非DEFAULT分组的API ROMA Connect的实例配置参数“app_route”已设置为“on”,允许通过IP访问API。
访问WEBSOCKET服务的认证方式。 none basicauth 最小长度:0 最大长度:256 api_auth_detail ApiAuthDetail object API鉴权详细字段。 broker String KAFKA、MQS、ACTIVEMQ的服务器地址,多个IP:PORT,使用"
访问WEBSOCKET服务的认证方式。 none basicauth 最小长度:0 最大长度:256 api_auth_detail 否 ApiAuthDetail object API鉴权详细字段。 broker 否 String KAFKA、MQS、ACTIVEMQ的服务器地址,多个IP:PORT,使用"
logstash: # 填写ELK组件所服务器的IP和Logstash对外开放的端口号(在ELK的logstash.conf文件中配置,默认为5044),需自行配置防火墙端口,开放访问权限。 hosts: ["ELK_LOGSTASH_IP:5044"] 编辑docker-compose
连接与安全 选择数据库的连接模式。本实践选择默认模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 pdb数据库名 填写要连接的pdb数据库名。
高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息。
Connect对数据源的读写请求,通过调用连接器开放标准的RESTful接口完成。 在完成连接器的开发和部署后,您需要在ROMA Connect上创建连接器,定义连接器的对接参数。 操作步骤 登录ROMA Connect控制台,在左侧的导航栏选择“资产管理”。 单击页面右上角的“创建连接器”。
表的映射关系。 单击表映射关系后的“编辑”,可以根据需要修改数据表的映射关系。 单击表映射关系后的“查看映射”,弹出数据表的字段映射配置窗口,可根据需要修改数据表字段的映射关系或者添加mapping映射。 目标端数据字段长度应大于等于源端数据字段的长度,否则会导致同步后的数据丢失。
src="js/hmac-sha256.js"></script> <script src="js/moment.min.js"></script> <script src="js/moment-timezone-with-data.min.js"></script> <script src='signer.js'></script>
properties”中的“bootstrap.servers”到“fikafka-consumer.properties”文件中。 生成MRS Kafka配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文
配置示例 前提条件 已获取IAM和ROMA Connect服务所在区域的Endpoint地址。 已获取ROMA Connect实例的实例ID,以及实例所在区域的项目ID。 在调用ROMA Connect的接口时,需要为调用请求添加认证信息。有Token认证和AK/SK认证两种认证
API未发布到环境。 访问的URL与API详情中的URL不相同。 API使用OPTIONS跨域请求,API中未开启CORS,未创建OPTIONS方式的API。 解决方案 发布API到环境。 修改URL,使访问的URL与API详情中的URL保持一致,注意URL后如果少一个“/”也会导致无法匹配上此API。
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 URL 填写服务器的IP地址和端口,格式为:ldap://ip:port。 ip为数据库的访问地址。 port为数据库的访问端口。 安全认证类型 数据库的安全认证类型,目前仅支持“Simple”。 用户名 数据库的登录用户名。
本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。 若目标端数据类型为MRS
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
动作 选择访问控制的动作,与“限制类型”配合使用。 允许:表示仅允许指定的IP地址或账号调用API。 禁止:表示禁止指定的IP地址或账号调用API。 IP地址 仅当“类型”选择“IP地址”时需要配置。 单击“增加IP地址”,添加允许或禁止调用API的IP地址或IP地址段。 账号名 仅当“类型”选择“账号名”时需要配置。