检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标,包括在不同时段的时间窗口内,Broker节点平均每秒流入消息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的请求数,每秒总的请求数和每秒生产的请求数。
防止上限超过流量峰值,导致作业异常带来不稳定因素。因此建议设置限流,限流上限应该为业务上线压测的峰值。
在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标,包括在不同时段的时间窗口内,Broker节点平均每秒流入消息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的请求数,每秒总的请求数和每秒生产的请求数。
ALM-19023 HBase Region限流 告警解释 HBase服务安装MetricController实例时,热点自愈功能自动开启,告警模块按120秒周期检测HBase是否存在因为热点问题被限制请求流量的Region。
如果创建MRS集群时暂未绑定弹性公网IP,在“弹性公网IP”下拉框中选择可用的弹性公网IP,否则直接执行3.b。 如果没有可用的弹性公网IP,可单击“管理弹性公网IP”创建弹性公网IP,同一弹性公网IP只能被一个MRS集群绑定使用。
操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP,并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 访问开源组件Web页面 登录MRS Manager页面。 详细操作请参考访问MRS集群Manager。
MRS提供了基于弹性公网IP来便捷访问组件WebUI的安全通道,并且比用户自己绑定弹性公网IP更便捷,只需界面鼠标操作,即可简化原先用户需要自己登录虚拟私有云添加安全组规则,获取公网IP等步骤,减少了用户操作步骤。
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
Kafka生产和消费的流量大小 细化到Topic级别。
在MRS管理控制台为MRS的Manager界面绑定了EIP后,通过弹性公网IP列表界面无法直接解绑EIP。 如需解绑,可通过调用EIP服务的相关API接口进行解绑: 登录EIP管理控制台,在EIP列表中查看并记录需要解绑的公网IP地址对应的ID信息。
具体请参见申请弹性公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”配置ECS节点的IP和放开所有端口。
MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
检查弹性公网IP是否正常。 单击“集群管理页面 ”后的“前往 Manager”,在“弹性公网IP”下拉框中选择可用的弹性公网IP。 如果没有弹性公网IP,可先单击“管理弹性公网IP”创建弹性公网IP,然后在弹性公网IP下拉框中选择对应的弹性公网IP。
在弹性公网IP页面申请一个弹性公网IP,并为集群的任一Core节点绑定该弹性公网IP,具体请参考申请并绑定弹性公网IP。 为MRS集群开放安全组规则。在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群,具体请参考配置安全组规则。
选择“弹性公网IP”页签,单击“绑定弹性IP”为弹性云服务器绑定一个弹性公网IP并记录该IP地址,若已绑定弹性公网IP请跳过该步骤。 运行PuTTY。 单击“Session”。 Host Name (or IP address):输入弹性云服务器所绑定的弹性公网IP。
具体请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 为MRS集群开放安全组规则。 在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群。
具体请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 为MRS集群开放安全组规则。
在弹性公网IP页面申请一个弹性公网IP,并为集群的任一Core节点绑定该弹性公网IP,具体请参考申请并绑定弹性公网IP。 为MRS集群开放安全组规则。在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群,具体请参考配置安全组规则。
在“KafkaTopic监控”页面单击每一个Topic的“Topic的字节流量 > Topic输入的字节流量”,统计出“Topic输入的字节流量”值最大的Topic。查看该Topic有哪些Partition以及这些Partition所在的主机信息。
Y(Tm)小时,那么整体必须满足: 假设单个磁盘大小为M,该磁盘上有n个Partition(P0,P1……Pn),并且其中第m个Partition的每秒写入数据流量为Q(Pm) MB/s(计算方法:所属Topic的数据流量除以Partition数)、数据保存时间为T(Pm)小时,那么单个磁盘必须满足