检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下cpuset.cpus文件中设置的所有CPU。 操作步骤 登录Manager系统。选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”。 在左侧导航栏选择“NodeManager > 自定义”,找到yarn-site
在“GC_OPTS”中查看 “-Xmx”配置的大小,并判断节点内存是否够用。 节点内存是否够用可根据实际环境进行判断,例如可使用以下方法: 以root用户登录告警上报的实例的IP地址,执行free -g命令,查看“free”列的“Mem”值即为节点可用内存,如下示例中节点可用内存为4G。
慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀,存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager,选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.th
慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀,存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager,选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.th
慢盘故障。 Broker磁盘IO繁忙。 Broker的分区分布不均匀,存在热点。 处理步骤 检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager,选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.th
否,执行5。 图1 数据目录磁盘空间使用率 等待2分钟查看告警是否自动恢复。 是,处理完毕。 否,执行5。 检查磁盘是否有误写入的大文件 以omm用户登录DBService主管理节点。 执行以下命令,查看数据目录磁盘空间下超过500MB的文件,检查该目录下是否有误写入的大文件存在。 source
云数据库(Relational Database Service) 云数据库(RDS)用于存储MRS系统运行数据,包括MRS集群元数据和用户计费信息等。 配置数据连接 统一身份认证服务(Identity and Access Management) 统一身份认证服务(IAM)为MRS提供了鉴权功能。 创建用户并授权使用MRS
/flume/flume-用户名-日期-pid-gc.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。
多租户相关模型: 多租户相关模型如下图所示。 图1 多租户相关模型 图1中涉及的概念如表1所示。 表1 相关概念说明 概念 说明 用户 用户是拥有用户名,密码等账号信息的自然人,是大数据集群的使用者。 图中有三个不同的用户:用户A、用户B和用户C。 角色 角色是承载一个或多个权限的载体。权限是限
sqoopInstanceCheck.log Loader实例健康检查日志 审计日志 default.audit Loader操作审计日志(例如:作业的增删改查、用户的登录)。 tomcat日志 catalina.out tomcat的运行日志 catalina. <yyyy-mm-dd >.log tomcat的运行日志
务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页
KafkaTopic监控”,搜索发生告警的Topic,查看副本数量。 如果副本数量值大于3,则考虑减少该Topic的复制因子(减少为3)。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划: kafka-reassign-partitions.sh --zookeeper
} if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e) {
run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) 使用客户端hdfs命令查看,如下文件不存在。 hdfs://hacluster/kylin/kylin_metadata/coprocessor/kylin-coprocessor-1
尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变化对资源分配或业务逻辑进行更改时,手动扩缩容的场景需要用户登录集群节点进行操作。对于弹性伸缩场景,MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负
nger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 创建HBase角色 在Manager界面,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。
INFO表示记录系统及各事件正常运行状态信息 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager。 选择“集群 > 服务 > Ranger > 配置”。 选择“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。
扩容;若资源不足则排队等待资源。 配置HetuEngine Worker节点数量步骤 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页
更新域:当满足某些条件时,更新字段的值。 输出 Hive输出:将已生成的字段输出到Hive表。 表输出:将已生成的字段输出到关系型数据库表。 文件输出:将已生成的字段通过分隔符连接并输出到文件。 HBase输出:将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应
更新域:当满足某些条件时,更新字段的值。 输出 Hive输出:将已生成的字段输出到Hive表。 表输出:将已生成的字段输出到关系型数据库表。 文件输出:将已生成的字段通过分隔符连接并输出到文件。 HBase输出:将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应