检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
get_largelog_responses:查询超大请求信息。 clear_slowlog_responses:清理RegionServer缓存中的数据。 可以在hbase shell中执行如下命令查看相关命令如何使用: help 'cmdName' 例如,执行help 'clear_slowlog_
下载客户端”,下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容,使用HCatalog客户端创建的表,在HiveServer客户端中不能访问,但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用
updateRangerJks.sh 主Master节点IP 主RangerAdmin节点IP 输入证书密码 该脚本会重启controller进程,在重启过程中,可能会影响到MRS Manager页面的查看,待controller进程重启后,会恢复正常。 请在MRS Manager页面“主机管理”中查看主Master节点IP。
执行以下命令卸载“krb5-workstation”软件和依赖的软件: rpm -e krb5-workstation-1.10.3-33.el6.x86_64 在Kerberos服务节点上使用kill -9命令结束Kerbeors的进程,等待其重启即可。 父主题: 登录集群Manager常见异常问题
待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中添加用户要重点保护的数据库、表或目录路径。 输入完成后,单击“保存”,保存配置项。 父主题: Hive常见问题
> Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight
实现方案 多租户模式的HA方案原理如图1所示。 图1 Spark JDBCServer多租户 ProxyServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点信息,节点信息包含了该实例对应的IP,端口,版本号和序列号等信息(多节点信息之间以逗号隔开)。 多租
ms),然后根据相关过滤器调整退避时间(单次退避最长时间为50000ms)。 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode ECN配置 参数 描述 缺省值 dfs.pipeline.ecn 进行该配置后,DataNode能够向客户端发送阻塞通知。
ms),然后根据相关过滤器调整退避时间(单次退避最长时间为50000ms)。 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode ECN配置 参数 描述 缺省值 dfs.pipeline.ecn 进行该配置后,DataNode能够向客户端发送阻塞通知。
name.dir”参数值获取NameNode数据目录,例如获取到数据目录为“/srv/BigData/namenode/current”。 在HDFS服务页面选择“实例”页签,查看并记录主备NameNode节点的业务IP地址。 以root用户登录发生故障的备NameNode节点,将
codec”配置项只适用于设置非分区表的parquet压缩格式。 配置参数 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.sql.parquet
Zookeeper异常导致merge无法正常执行。 登录Manager页面,检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警,如果存在,请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压: select
Manager界面操作入口:登录FusionInsight Manager,选择“集群 > 服务 >HDFS > 配置”。 选择“全部配置”,在搜索框中搜索“dfs.datanode.du.reserved.percentage”。 修改此参数的取值为“10”。 修改完成后,扩容Core节点的磁盘个数。
会丢失。 说明: 该参数在kafka客户端配置文件中配置。 min.insync.replicas 1 当Producer设置acks为-1时,指定需要写入成功的副本的最小数目。 配置高可用、高性能的影响: 配置高可用、高性能模式后,数据可靠性会降低。在磁盘故障、节点故障等场景下存在数据丢失风险。
连续持有锁的时间。 该操作仅适用于MRS 3.5.0及之后版本。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。 在搜索框中输入参数名称,根据实际需要,修改“HDFS”服务级别参数。 表1 HDFS异步删除特性配置参数 参数名称 描述 默认值 dfs.namenode
Flume > Flume管理”,即可查看当前Flume客户端列表及进程状态。 图1 Flume管理 选择“实例ID”,进入客户端监控列表,在“实时”区域框中,可查看客户端的各监控指标。 选择“历史”进入历史监控数据查询界面。筛选时间段,单击“查看”可显示该时间段内的监控数据。 父主题:
可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。 使用PuTTY工具,以omm用户登录告警所在主机。 执行cat /proc/s
TABLE [PARTITION] SET位置设置表的表或分区位置。 在Set location命令之后,表/分区数据可能不会显示。 Set location在创建表/分区目录时会使用给定目录路径,而不是hive在创建表/分区时创建的默认路径。 该语句不会对表或分区原有数据产生影响
机是否可以ping通。 是,执行3。 否,执行2.d。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Toke