检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
agent-keytab - 服务端使用的keytab文件地址，必须使用机机账号。建议使用Flume服务安装目录下flume/conf/flume_server.keytab。 agent-principal - 服务端使用的安全用户的Principal，必须使用机机账户。建议使用Flume服务默认用户flume_server/hadoop
单击“保存配置”，在弹出窗口中勾选“重新启动受影响的服务或实例。”，单击“确定”重启服务。若未勾选“重新启动受影响的服务或实例。”，请手动重启受影响的服务或实例。 界面提示“操作成功”，单击“完成”，服务成功启动。 重启集群或者集群内的角色实例，会造成对应服务的业务中断，请务必在业务空闲期或者确认上层业务影响可控后，再执行本操作。
据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”，会等待缓冲区满之后才会刷新，使其达到最大吞吐量；当设置“setBufferTimeout(0)”时，可以最小化延迟，数据一旦接收到就会刷新
park/jars/*:/opt/client/Spark2x/spark/jars/streamingClient010/* 开发思路 接收Kafka中数据，生成相应DStream。 对单词记录进行分类统计。 计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，
Topic需提前创建，用户可以输入指定的内容作为生产者产生的消息，输入完成后按回车发送消息。如果需要结束产生消息，使用“Ctrl + C”退出任务。 消费主题中的消息 重新打开一个客户端连接，执行以下命令消费主题中的消息。 cd /opt/client/Kafka/kafka/bin
以root用户登录节点，执行service auditd status命令，确认该服务状态。 Checking for service auditd running 如果该服务未启动，执行service auditd restart命令重启该服务（无影响，耗时不到1秒）。 Shutting down auditd
消费Topic中积压的消息，则会导致数据丢失。 可能原因 新创建的消费者组，从头开始消费Topic中的消息，导致消息积压。 用户配置的消息积压告警规则不合理，积压告警阈值设置过低，导致上报告警。 Kafka Topic流量激增，短时间内产生大量消息，导致消息积压。 下游处理Kafka
Topic需提前创建，用户可以输入指定的内容作为生产者产生的消息，输入完成后按回车发送消息。如果需要结束产生消息，使用“Ctrl + C”退出任务。 消费主题中的消息 重新打开一个客户端连接，执行以下命令消费主题中的消息。 cd /opt/client/Kafka/kafka/bin
共享资源的配置能力。每个租户中可能存在不同权重的用户，高权重用户可能需要更多共享资源。 大集群环境下的调度性能优势 Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用
logger.com.obs=WARN 可执行以下命令查看： tail -4 log4j.properties 图2 查看日志级别 父主题： 集群服务对接OBS示例
如何取消MRS集群风险告警的消息通知？ 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”，在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题： 集群管理类
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
/opt/client/Spark2x/spark/jars/streamingClient010/*:{ClassPath} 开发思路 接收Kafka中数据，生成相应DStream。 对单词记录进行分类统计。 计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，
bigdata，{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制： 不涉及
Manager基本原理 Manager功能 Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
SparkStreaming消费Kafka消息失败，提示“Couldn't find leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。 提示如下错误： Couldn't find
topics.split(",").toSet // 通过brokers和topics直接创建kafka stream // 1.接收Kafka中数据，生成相应DStream val kafkaParams = Map[String, String]("metadata
Kafka服务异常。 客户端Consumer侧采用非安全访问，服务端配置禁止访问。 客户端Consumer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 查看Kafka服务状态： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 >
huawei.bigdata.spark.examples.KafkaWordCount。 /** * 从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举，制作人只会使用它来获取元数据
huawei.bigdata.spark.examples.SecurityKafkaWordCount。 /** *从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举，制作人只会使用它来获取元数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
