检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
public KafkaProducer(Map configs) 构造一个Kafka消息生产者 参数:configs表示Kafka的配置信息 方法列表 返回类型 方法和说明 org.apache.kafka.clients.producer.RecordMetadata produce(String
客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。 表1 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠:all 高吞吐:1 收到Server端确认信号个数,表示procuder需要收到多少个这
置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。 对于组合任务
CentOS环境为例,介绍Go版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7,您可以在ROMA
CentOS环境为例,介绍Python版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7,您可以在ROMA
操作场景 本文介绍Java版本的Kafka客户端连接指导,并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1.1.0、2.7,您可以在ROMA
操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在的目录,然后执行以下命令解压文件。 tar -zxf kafka_tar 其中,kafka_tar为Kafka命令行工具压缩包的名称。 进入Kafka命令行工具的/bin目录下。 注意,Wind
在ROMA Connect实例控制台的“实例信息”页面,在“基本信息”页签查看MQS连接地址。 使用Kafka客户端内网连接MQS:在“连接地址”下查看消息集成 MQS内网连接地址。 使用Kafka客户端公网连接MQS:在“连接地址”下查看消息集成 MQS公网连接地址。 使用RESTful
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
获取一个配置,用于访问MQS提供的Kafka(开启sasl_ssl)。 方法详情 public static KafkaConfig getConfig(String servers, String groupId) 访问MQS提供的kafka(不开启sasl_ssl)。 输入参数
APIC如何对流量进行控制? 您可以通过流控策略控制单位时间内API被访问的次数,保护后端服务,详情请参考流量控制。 默认的流控策略是单个API的访问不超过6000次/秒,如果您未创建流控策略,APIC会执行默认流控策略。您可以在ROMA Connect实例控制台“实例信息”页面
COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %* (可选)修改Kafka命令行工具配置文件。仅当ROMA
Connect所有节点ip和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。 建议在Kafka客户端侧配置日志转储,否则容易引起磁盘被日志打满的情况。 一
完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息。 Kafka 返回页首 任务的“集成模式”为“实时”时,可以选择Kafka作为源端数据源。ROMA Connect的消息集成属于Kafka类型数据源。 在创建任务页面中配置源端信息。 表13 源端Kafka信息 参数 配置说明 源端实例 选择当前正在使用的ROMA
name. kafka.rest.topic=topic_name_demo # Kafka consume group. kafka.rest.group=group_id_demo # Kafka sasl username. kafka.rest.username=sasl_username_demo
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间(默认10000毫秒),服务端才认为消费组客户端真正下线。
大小变化需要动态向上调整。 消息集成规格 开源兼容性说明:ROMA Connect完全兼容开源社区Kafka 1.1.0、2.7版本,兼容开源Kafka的API,具备原生Kafka的所有消息处理特性。 ROMA Connect实例支持的消息集成规格如下,选择规格时建议预留30%的带宽,确保您的应用运行更稳定。
apic 服务集成 kafka_instance_id 消息集成实例 kafka_broker 消息集成Broker节点 kafka_rest 消息集成Rest节点 kafka_topics 消息集成队列 kafka_partitions 消息集成分区 kafka_groups-partitions
data_disk_size String 磁盘大小。 data_disk_use String 已使用磁盘大小。 data_disk_free String 空闲磁盘大小。 data_disk_use_percentage Integer 磁盘使用率。 status String 查询状态。
MQS的kafka实例创建Topic成功 kafka Kafka_create_topicSuccess MQS的kafka实例创建Topic失败 kafka Kafka_create_topicFailure MQS的kafka实例删除Topic成功 kafka Kafka_delete_topicSuccess