检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,处理完毕。 否,执行6。 检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径}
properties,搜索配置文件中是否有“type = hdfs”关键字确认Flume Sink是否是HDFS类型。 是,执行2。 否,执行3。 在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生,服务列表中HDFS是否已停止。 是,如果有告警参考ALM-14000
partition by age order by id; 创建MATERIALIZED VIEW,该视图会在后台转换Kafka引擎中的数据并将其放入创建的ClickHouse表中。 create materialized view consumer3 on cluster default_cluster
ms.sh 回显中“ResName”列出现“chrony”字样,执行6。 回显中“ResName”列出现“ntp”字样,执行7。 如果回显中“ResName”列同时出现“chrony”和“ntp”字样,则表示正在切换NTP服务模式,等待十分钟再次执行5,如果回显中“ResName
S集群后,获取并导入样例工程并在本地进行编译调测,用于实现从Hive表中读取数据并重新写入HBase表。 本章节对应示例场景的开发思路: 查询指定Hive表的数据。 根据表中数据的key值去HBase指定表中做查询。 把相关的数据记录相加后重新写入HBase表。 创建MRS集群 购买一个MRS
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
写入。 可能原因 集群磁盘容量已满。 DataNode节点间数据倾斜。 处理步骤 检查集群磁盘容量是否已满。 登录MRS集群详情页面,在“告警管理”页面查看是否存在“ALM-14001 HDFS磁盘空间使用率超过阈值”告警。 是,执行1.b。 否,执行2.a。 参考ALM-14001
MemArtsCC > 配置 > 全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹窗页面中单击“确定”,保存配置。 单击“实例”,勾选所有CCSideCar角色, 选择“更多 > 重启实例”,重启sidecar实例。 配置完成后
任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下,任务日志只会存放在各NodeManager的本地磁盘上。打开日志聚合功能后,NodeManager会在作业运行完成后将本地的任务日志进行合并,写入到HDFS中。 由于MapReduce的作业日志和任务日
任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下,任务日志只会存放在各NodeManager的本地磁盘上。打开日志聚合功能后,NodeManager会在作业运行完成后将本地的任务日志进行合并,写入到HDFS中。 由于MapReduce的作业日志和任务日
了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USER>-<process_name>-<hostname>
告警”,选中“ID”为“43013”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JDBCServer2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制
实例”,勾选受影响的“RegionServer”实例,选择“更多 > 滚动重启 ”,在弹出的界面中输入用户和密码,单击“确定”,在“滚动重启实例”界面单击“确定”,等待滚动重启完成,使其生效。 配置生效后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查集群是否存在热点问题 在FusionInsight
了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USER>-<process_name>-<hostname>
可能原因 硬盘被拔出。 硬盘离线、硬盘坏道等故障。 处理步骤 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。
告警”,选中“告警ID”为“43017”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击上报告警的JDBCServer2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制
a/FusionInsight_Impala_***/***_Impalad/etc/ 登录到manager管理页面上,找到impala组件,然后在impalad实例中添加如下自定义配置项及值: --fair_scheduler_allocation_path 值如:/opt/B