检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Consumer客户端的配置参数“fetch.message.max.bytes”必须大于等于Producer客户端每次产生的消息最大字节数。如果参数的值太小，可能导致Producer产生的消息无法被Consumer成功消费。 父主题： Kafka应用开发规范
KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 object KafkaWordCount { def main(args: Array[String]): Unit =
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
Server的某个端口，Client端连续3分钟未与Server端连接时，系统产生此告警。 当Flume Server收到Flume Client连接消息，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24003 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 客户端IP
Topic 查看Kafka Topic信息 修改Kafka Topic配置 增加Kafka Topic分区 管理Kafka Topic中的消息 查看Kafka数据生产消费详情 父主题： 使用Kafka
须为相对jaas.conf的所在路径，例如“./user.keytab”。principal修改为自己创建的用户名及集群域名。 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 父主题： Structured
Consumer类中，用于消费订阅的Topic消息。 代码样例 Consumer线程的dowork方法逻辑，该方法是run方法的重写。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： /** * 订阅Topic的消息处理函数 */ public
NodeManager（NM） NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它会接收并处理来自AM的Container启动/停止等各种请求。 Container Container是YARN中的资源抽象，它封装了某个节点上
NodeManager（NM） NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它会接收并处理来自AM的Container启动/停止等各种请求。 Container Container是YARN中的资源抽象，它封装了某个节点上
记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见“弹性云服务器 > 快速入门
据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”，会等待缓冲区满之后才会刷新，使其达到最大吞吐量；当设置“setBufferTimeout(0)”时，可以最小化延迟，数据一旦接收到就会刷新
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。 如果Bolt之后还有其他拓扑算子，可以使用OutputFieldsDeclarer.declareStream定义Stream，使用OutputCollector
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞，无法提交新的调度任务。 可能原因 HDFS服务重启、故障或网
客户端目录/Kafka/kafka/config/producer.properties 输入消息内容，输入完成后按回车发送消息： 1,name1 2,name2 3,name3 执行以下命令查看Sink表中是否接收到数据，即查看Kafka topic是否正常写入数据。 sh kafka-console-consumer
本地运行Spark程序连接MRS集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc
Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 使用SpringBoot生产消费Kafka集群数据
图表页面可直接查看该主机的全量监控图表信息 进程页面显示了当前主机上已部署服务实例的角色进程信息，例如进程状态、PID、进程运行时间等，并可直接在线查看各进程的日志文件内容。 主机资源页面显示了当前主机上已部署服务实例的详细资源使用情况，包括CPU，内存，磁盘和端口情况。 通过Manager页面查看节点状态（MRS
构造一个端口进行接收数据（不同操作系统的机器，命令可能不同，suse尝试使用netcat -lk 9999）： nc -lk 9999 提交任务命令执行之后，在该命令下输入要提交的数据，通过HBase表进行接收。 在构造一个端口进行接收数据时，需要在客户端所在服务器上安装netcat。
KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 object KafkaWordCount { def main(args: Array[String]): Unit =
ount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 #!/usr/bin/python # -*- coding: utf-8 -*- import sys from pyspark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
