检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHouse系统表修改权限的用户登录客户端节点,连接到ClickHouse服务端,具体请参考使用ClickHouse客户端。 清理存量系统表数据,执行如下命令: truncate table system.query_log on
关联了“cdl”用户组的用户可以执行CDL的创建和查询操作。 启用了Ranger鉴权时,如果用户创建后需要继续为用户配置创建、执行、查询、删除权限,请参考添加CDL的Ranger访问权限策略。 对于手动停用了Ranger鉴权的集群,可参考MRS集群服务启用Ranger鉴权章节重新启用Ranger鉴权。
chown omm:wheel /srv/BigData/namenode/current -R 重启备NameNode,观察是否重启成功。如果失败请联系技术支持进行处理。 父主题: HDFS故障排除
单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive
开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ I
集群外的节点需要与集群的业务平面是连通的。 集群的KrbServer服务运行状态正常。 获取集群外的节点root用户密码。 集群已规划并添加“人机”用户,并获取认证凭据文件。请参见创建用户(MRS 3.x及之后版本)和下载MRS集群用户认证凭据文件。 配置集群外节点用户访问普通模式集群资源 以root用户登录到需要添加用户的节点。
where database='库名' and table='表名'; 如果查询出来的结果均为空,执行4。 如果查询出来的结果中有报错信息,请根据报错内容处理,若无法自行处理,执行6; 如果查询出来的结果中有执行中且不存在报错的信息,说明sql/mutation任务正在执行。 执行
$BIGDATA_HOME/tmp/ps_result.txt 请系统管理员确认后,清除大量占用端口的进程,等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行11 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息
Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令查看文件句柄占用较多的进程。 for proc in /proc/[0-9]*; do if [ -d "$proc/fd"
一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1 参数 描述 默认值 mapreduce.input.fileinputformat.split
INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Flume的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。
x以前版本集群执行以下操作: 登录Manager,选择“系统设置 > 角色管理 > 添加角色”。 在“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 Yarn权限: “Cluster Admin Operations”:Yarn管理员权限。 “Scheduler Queue”:队列资源管理。
已创建关联了ClickHouse服务的租户,并与ClickHouse业务用户关联,具体请参见添加MRS租户章节。 配置ClickHouse SQL防御使用约束 防御规则默认动态生效时间为1分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 ClickHouse相关规则配置后,需要重新登录客户端生效。
检查HiveQL命令是否符合语法。 使用Hive客户端连接到产生该告警的HiveServer节点,查询Apache提供的HiveQL语法规范,确认输入的命令是否正确。详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 是,执行2
改名为Spark,服务包含的角色名也有差异,例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43017 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
的主机名,查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行ll 路径名命令,其中路径名为2获取到的异常文件,获取到该文件或者目录在主机上的当前的用户,权限,用户组等信息。 进入
为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 数据文件加密机制:开源社区的Hive特性,请参见https://cwiki.apache.org/confluence/display/hive/designdocs。 父主题: Hive应用开发概述
Kafka主要提供了的API主要可分Producer API和Consumer API两大类,均提供有Java API,使用的具体接口说明请参考Kafka Java API介绍。 常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个T
NodeManager节点本地目录omm用户无访问权限。 处理步骤 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive