检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“服务管理 > Yarn > 服务配置”将“参数类别”修改为“全部配置”。 在“搜索”栏输入“yarn.scheduler.maximum-allocation-mb”修改参数并保存重启服务。如下图所示: 图1 修改Yarn服务参数 FusionInsight Manager界面操作:
ALM-16046 Hive数据仓库权限被修改 告警解释 系统每60秒周期性检测Hive数据仓库的权限是否被修改,如果修改发出告警。 告警属性 告警ID 告警级别 是否自动清除 16046 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
新建集群Consumer消费数据失败,提示“GROUP_COORDINATOR_NOT_AVAILABLE” 问题背景与现象 新建Kafka集群,部署Broker节点数为2,使用Kafka客户端可以正常生产,但是无法正常消费。Consumer消费数据失败,提示GROUP_COORDINAT
rbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”,用户不能删除。 针对MRS 2.x及之前版本,密码默认为“Crossrealm@123”。 MRS 3.x及之后版本,请系统管理员根据企业安全要求,及时且定期修改密码,需同时修改互信系统中4个用户
select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击
使用UDF函数时提示“Invalid function” 问题现象 在Hive客户端中使用Spark创建UDF函数时,报出"ERROR 10011","invalid function"的异常,如下: Error: Error while compiling statement:
件的最大存储大小,默认为50MB),例如修改为“20MB”。 调小“log4j.appender.sparklog.MaxBackupIndex”参数值(表示滚动保存的文件数量,最大为10个文件,达到第11个覆盖第一个生成的文件),例如修改为“5”。 保存文件。 重新提交作业,作业运行正常。
通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 问题背景与现象 在Yarn使用Capacity调度器时,单击Yarn WebUI页面的队列名称时,系统上报“ERROR 500”的错误。 HTTP ERROR 500 javax.servlet.ServletException:
WebUI”右侧,单击URL链接,访问KafkaUI的页面。 在菜单栏单击“Alarms”,进入Kafka积压告警页面。 单击“Create Lag Alarm”,根据界面提示新建一条Kafka消息积压告警的规则,单击“Create”。 图1 Create Lag Alarm 表1 消息积压告警规则参数 参数名称
Consumer消费数据失败,提示“SchemaException: Error reading field” 问题背景与现象 Consumer来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: org.apache.kafka.common
select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击
SparkStreaming消费Kafka消息失败,提示“Couldn't find leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: Couldn't find leader
“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。
“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。
Shell客户端连接提示“authentication failed” 问题现象 安全集群中,HiveServer服务正常的情况下,Shell客户端中执行beeline命令失败,界面提示“authentication failed”,如下: Debug is true storeKey
提交Storm拓扑后Worker运行异常,日志提示Failed to bind to XXX 现象描述 提交业务拓扑后,发现Worker无法正常启动。查看Worker日志,日志提示Failed to bind to: Host_ip:Port。 可能原因 随机端口范围配置错误。 定位思路
SparkStreaming消费Kafka消息失败,提示“Error getting partition metadata” 问题现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。提示如下错误: Error getting partition
Guardian > RPC”,单击“TokenServer RPC队列平均时间”,单击“default”规则所在行的“操作”列的“修改”,修改“紧急”或“重要”告警级别对应的“阈值”为告警出现后1天内监控值的峰值的150%,单击“确定”保存。 等待5分钟,查看该告警是否自动清除。
HBase启动失败,RegionServer日志中提示“FileNotFoundException” 问题背景 HBase启动失败,RegionServer一直处于Restoring状态。 原因分析 查看RegionServer的日志(/var/log/Bigdata/hbase/rs/hbase-omm-XXX
HBase > 配置 > 全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。 “hbase.rpc.protection”与“hbase