检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀，存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager，选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.th
慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀，存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager，选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.th
慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀，存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager，选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.th
慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀，存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager，选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.th
否，执行5。 图1 数据目录磁盘空间使用率 等待2分钟查看告警是否自动恢复。 是，处理完毕。 否，执行5。 检查磁盘是否有误写入的大文件 以omm用户登录DBService主管理节点。 执行以下命令，查看数据目录磁盘空间下超过500MB的文件，检查该目录下是否有误写入的大文件存在。 source
对Streaming调优，就必须使该三个部件的性能都合理化。 数据源调优 在实际的应用场景中，数据源为了保证数据的容错性，会将数据保存在本地磁盘中，而Streaming的计算结果全部在内存中完成，数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0
public void init(ProcessorContext context) { // 在本地保留processor context，因为在punctuate()和commit()时会用到 this.context
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。
字符的表。 查看MySQL是否开启bin log： 使用工具或者命令行连接MySQL数据库（本示例使用Navicat工具连接），执行show variables like 'log_%'命令查看。 例如在navicat工具选择“File > New Query”新建查询，输入如下
m业务用户重置密码。 前提条件 MRS集群管理员已明确业务需求，并创建好“人机”用户，例如“testpol”。 操作步骤 以“omm”用户登录集群内任意节点。 执行以下命令，防止超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，执行命令TMOUT=超时退出时
删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下cpuset.cpus文件中设置的所有CPU。 操作步骤 登录Manager系统。选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。 在左侧导航栏选择“NodeManager
Hive使用HDFS容量上限过小。 HDFS空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDFS使用情况，增加HDFS分配给Hive使用的容量上限。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”，然后查找“hive
public void init(ProcessorContext context) { // 在本地保留processor context，因为在punctuate()和commit()时会用到 this.context
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 堆栈信息日志（MRS 3.2.0及以后版本） threadDump-<DATE>
告警阈值配置或者平滑次数配置不合理。 CPU配置无法满足业务需求，CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > LdapServer > 其他 >
线按照节点范围或者组件角色范围快速检视所有日志，通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight Manager。 选择“运维 > 日志 > 在线检索”。 图1 在线检索 根据所需查询日志分别填写表1各参数，
整个计算实例响应变慢，造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务失败率超过阈值”，检查该
GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置，如需配置，用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下： 用户可登录FusionInsight Manager，单击“集群 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager
对Streaming调优，就必须使该三个部件的性能都更优化。 数据源调优 在实际的应用场景中，数据源为了保证数据的容错性，会将数据保存在本地磁盘中，而Streaming的计算结果全部在内存中完成，数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0
Spark采用Master和Worker的模式，如图3所示。用户在Spark客户端提交应用程序，调度器将Job分解为多个Task发送到各个Worker中执行，各个Worker将计算的结果上报给Driver（即Master），Driver聚合结果返回给客户端。 图3 Spark的Master和Worker 在此结构中，有几个说明点：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
