检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kafka-examples Kafka流式数据的处理Java示例程序。 本工程基于Kafka Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，然后将统计结果以Key-Value的形式输出。 Manager manager-examples
Topic需提前创建，用户可以输入指定的内容作为生产者产生的消息，输入完成后按回车发送消息。如果需要结束产生消息，使用“Ctrl + C”退出任务。 消费主题中的消息 重新打开一个客户端连接，执行以下命令消费主题中的消息。 cd /opt/client/Kafka/kafka/bin
保留期到期后，若您仍未支付账户欠款，集群将终止服务，系统中的数据也将被永久删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 关机计费策略 一般情况下，对于按需计费的MRS集群，对集群所有的弹性云服务器进行关机后，相关计费策略如下： MRS集群管理服务费仍旧正常计费，如需停止计费请删除相应集群。
通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中
配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致，请参见http://phoenix.apache.org/。 Sqlline常用语法见表1，常用函数见表2，命令行使用可以参考Phoenix命令行操作介绍章节。
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.
ClickHouse 集群配额 Clickhouse服务在ZooKeeper的数量配额使用率 ClickHouse服务在ZooKeeper上目录的数量配额使用百分比。 90% Clickhouse服务在ZooKeeper的容量配额使用率 ClickHouse服务在ZooKeeper上目录的容量配额使用百分比。
-fixVersionFile命令修复文件。 如1不能解决，从同版本的其他集群中获取hbase.version文件上传进行替换。 重新启动HBase服务。 父主题： 使用HBase
FE的查询连接端口，可以通过登录Manager，选择“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面，选择“集群 > 服务 > Doris > 实例”，查看任一FE实例的IP地址。
Kafka服务异常。 客户端Consumer侧采用非安全访问，服务端配置禁止访问。 客户端Consumer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 查看Kafka服务状态： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 >
_PWD}"（位于脚本的1001行）。 登录MRS Manager页面，选择“服务管理”。 选择“更多 > 同步配置”。 在弹出窗口勾选“重启配置过期的服务或实例。”，并单击“确定”，重启配置过期的服务。 同步配置时会调用addRealm.sh脚本添加krbtgt用户。 为MRS
SparkStreaming消费Kafka消息失败，提示“Couldn't find leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时，发现无法从Kafka中获取到数据。 提示如下错误： Couldn't find
单击“确定”完成密码修改，使用新密码重新登录Manager页面。 通过集群节点修改admin用户密码（MRS 2.x及之后版本）： 更新主管理节点客户端，具体请参考服务端配置过期后更新MRS集群客户端。 登录主管理节点。 （可选）若想要使用omm用户修改密码，请执行以下命令切换用户。 sudo su - omm
Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用MRS安装集群，主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定Topic的消息时，发现消费不到任何数据。
Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码，以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天，如果需要修改操作系统用户密码有效期，可以参考修改MRS操作系统用户密码有效期进行配置。
使用多线程Consumer消费消息 功能介绍 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。 下面代码片段在com.huawei
使用多线程Consumer消费消息 功能简介 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。 下面代码片段在com.huawei
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
