检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> bin/kafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config
--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> bin/kafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config
Alarm 表1 消息积压告警规则参数 参数名称 参数解释 取值样例 Consumer groups to be monitored 需要监控的消费者组名称。 example-group1 Topics to be monitored 需要监控的Topic名称。 topic-1 Lag threshold
--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> shkafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config
--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> shkafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config
private KafkaConsumer<String, String> consumer = null; /** * 消费者线程类构造方法 * * @param threadNum 线程号 * @param topic topic
private KafkaConsumer<String, String> consumer = null; /** * 消费者线程类构造方法 * * @param threadNum 线程号 * @param topic topic
private KafkaConsumer<String, String> consumer = null; /** * 消费者线程类构造方法 * * @param threadNum 线程号 * @param topic topic
private KafkaConsumer<String, String> consumer = null; /** * 消费者线程类构造方法 * * @param threadNum 线程号 * @param topic topic
如果解析格式需要一个schema时，此参数必填。 kafka_num_consumers 否 单个表的消费者数量。默认值是：1，如果一个消费者的吞吐量不足，则指定更多的消费者。消费者的总数不应该超过topic中分区的数量，因为每个分区只能分配一个消费者。 Kafka数据同步至ClickHouse操作示例 参考Kafk
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。
schedule-tool工具使用指导 概述 schedule-tool工具，用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件，当目标源为HDFS时，可以修改输出路径。 参数说明 表1 schedule.properties配置参数说明 配置参数 说明 示例
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用客户端运行Loader作业。 操作步骤
如果存在，需重启对应服务或角色实例使配置生效。 修改消费者业务应用中fetch.message.max.bytes，使得fetch.message.max.bytes的值大于等于message.max.bytes，确保消费者可以消费到全部消息。 父主题： 使用Kafka
Consumer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 消费者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型。 消费者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。
schedule-tool工具使用指导 概述 schedule-tool工具，用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件，当目标源为HDFS时，可以修改输出路径。 本章节适用于MRS 3.x及后续版本。 参数说明 表1 schedule.properties配置参数说明
Consumer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 消费者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型。 消费者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。
开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 前提条件
使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS 周边云服务对接类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
