检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0 IBM MQ 9.1 Kafka 1.1.0、2.3.0 LDAP 无版本号 MongoDB 3.4 MQS 无版本号 MRS Hbase MRS 3.*.* MRS HDFS MRS 3.*.* MRS Hive MRS 3.*.* MRS Kafka MRS 3.*.* MySQL
接入LDAP数据源 接入IBM MQ数据源 接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前，必须停止被重置消费组客户端。 在停止被重置消费组客户端后，需要经过ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间（默认10000毫秒），服务端才认为消费组客户端真正下线。
消息系统 ActiveMQ ArtemisMQ IBM MQ Kafka 父主题： 连接器
\\\"rules\\\":[]}", "remark" : "流量控制" } 修改指定Kafka日志推送插件的内容 { "plugin_name" : "KAFKA日志插件", "plugin_type" : "kafka_log", "plugin_scope" : "app",
FTP ActiveMQ Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题： 连接器
\\\"rules\\\":[]}", "remark" : "流量控制" } 创建一个Kafka日志推送插件，可见范围为集成应用可见 { "plugin_name" : "KAFKA日志插件", "plugin_type" : "kafka_log", "plugin_scope" : "app"
接入自定义数据源 概述 ROMA Connect支持把自定义的连接器作为一个数据源，并用于数据集成任务。在使用自定义数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。 已有可用的连接器
X版本的Python。 Go：1.14及以上版本的Go。 C#：6.0及以上版本的.NET。 客户端版本使用建议： ROMA Connect的Kafka版本 Kafka客户端建议版本 1.1.0 Java：1.1.0及以上版本 Python：2.0.1及以上版本 Go：1.8.2及以上版本 C#：1
MQS的kafka实例创建Topic成功 kafka Kafka_create_topicSuccess MQS的kafka实例创建Topic失败 kafka Kafka_create_topicFailure MQS的kafka实例删除Topic成功 kafka Kafka_delete_topicSuccess
转发规则的目的端，把设备上报的数据转发到DIS。 分布式消息服务 Kafka 分布式消息服务 Kafka（Distributed Message Service for Kafka，简称Kafka）是一款基于开源社区版Kafka提供的消息队列服务，是一个拥有高吞吐、可持久化、可水
不同类型数据源的接入配置不同，此处以Kafka作为源端数据库，MySQL作为目标端数据库为例进行说明，其他类型数据库请参考接入数据源。 接入源端Kafka数据源： 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“Kafka”类型的数据源，然后单击“下一步”。
rchar2类型。 kafka_log_plugin_options Kafka日志推送插件可推送的请求体和响应体大小配置。 request_body_size：Kafka日志推送插件可推送的请求体大小上限。 response_body_size：Kafka日志推送插件可推送的响应体大小上限。
API到MySQL时源端报“401 unauthorized”错误 Kafka集到Mysql目标端报“cannot find record mapping field”错误 API到MySQL的定时任务时会出现源端报“connect timeout”错误 Kafka到Mysql的实时任务时，MQS中的Top
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项（Action） 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
操作类型，枚举值：0-目标端为ROMA实例MQS；1-目标端为本ROMA实例内FI KAFKA数据源； 2-目标端为本ROMA实例内MRS KAFKA数据源；3-目标端为本ROMA实例内KAFKA数据源；6-目标端为DIS数据源；7-目标端为设备。 最小值：0 最大值：7 app_id
消息集成指导 业务使用介绍 创建Topic 配置Topic授权（可选） 连接Topic Topic管理 Kafka业务迁移
MQS消息堆积最佳实践 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分
数据源连接测试失败排查操作 请检查数据源相关配置是否正确，例如数据库名及密码是否填写错误。 请检查数据源IP与FDI是否在同一个VPC内，若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。
端读取数据后先进行处理再写入目标端，脚本样例参见脚本映射样例。 目标端为Kafka的配置示例如下图所示，id、name和info为要写入到Kafka数据源的数据字段。 图3 Kafka配置示例 写入Kafka的消息内容结构为{"id":"xx", "name":"yy", "in
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
