检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-38016 Fetch请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求总体时延,当检测到某个Broker实例的Fetch请求总体时延连续10次超出阈值时产生该告警。 当Broker实例的Fetch请求总体时延小于或等于阈值时,告警清除。
创建Ranger集群 参考购买自定义集群创建集群,组件选择时勾选Ranger组件。 目前MRS 1.9.2集群仅普通模式集群支持Ranger组件,开启Kerberos认证的安全集群不支持Ranger组件。 图1 选择Ranger组件 选择是否开启“使用外部数据源存储元数据”功能。
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除
在Hive中drop表后如何完全释放磁盘空间 用户问题 在Hive命令行执行drop表的操作后,通过命令hdfs dfsadmin -report查看磁盘空间,发现表没有删除。 原因分析 在Hive命令行执行drop表只删除了外部表的表结构,并没有删除该表存储在HDFS上的表数据。
如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 username和password:连接数据库的用户名及密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。
执行vi /etc/resolv.conf命令,将内容全部用“#”注释,并保存文件。 # namesever 10.2.3.4 # namesever 10.2.3.4 等待5分钟,查看告警是否恢复。 是,操作结束。 否,执行7。 检查是否安装并启动了DNS服务端。
图2 Background监控信息 查看“${BIGDATA_HOME}/FusionInsight_HD_8.1.0.1/1_23_HiveServer/etc/hive-site.xml”文件中“hive.server2.async.exec.threads”数量,适当增大该数值
在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在,则手动添加该参数项。
在HMaster主备倒换或启动期间,如果WAL hlog文件存在,它会初始化WAL splitting任务。如果WAL hlog splitting任务完成,它将初始化表region分配任务。
配置“健康检查报告文件最大份数”,该值必须是整数,取值范围1~100。 单击“定期健康检查”的开关开启该功能,启用后根据运维需要选择检查周期为“每天”、“每周”或“每月”,单击“确定”保存配置。 父主题: MRS集群健康检查
在HMaster主备倒换或启动期间,如果WAL HLog文件存在,它会初始化WAL splitting任务。如果WAL HLog splitting任务完成,它将初始化表region分配任务。
登录安装HBase客户端的节点,查看“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中“hbase.client.ipc.pool.size”是否配置且参数值是否大于“5”。 是,执行3。 否,执行5。
MRS将在统一身份认证服务(IAM)中创建名为“mrs_admin_agency”的委托,该委托创建成功后请勿修改和删除,删除委托或者删除委托中的Tenant Administrator角色将会自动取消授权,取消授权后将影响集群创建、集群扩容、集群缩容、升级Master节点规格、弹性伸缩
在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在,则手动添加该参数项。
名称 值 参数文件 描述 rewrite.cache.enabled true coordinator.config.properties 启用物化视图“重写缓存” rewrite.cache.timeout 86400000 coordinator.config.properties
“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端,请确保该HBase客户端目录的属主为该用户,否则请参考如下命令修改属主。
选择“FE(角色) > 自定义”,在参数文件“fe.conf”中添加自定义参数,参数名称为“enable_col_auth”,值为“true” 单击“保存”,单击“确定”,保存配置。 单击“实例”,勾选所有FE实例,选择“更多 > 重启实例”,重启所有FE实例。
主组 选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 角色 单击“添加”为用户绑定租户的角色。
动态规则dynamic_0001(SQL语句扫描的文件数超过阈值),当Spark与Tez引擎达到提示阈值时拦截日志会在Yarn任务日志中打印,不支持在Beeline客户端输出。
运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时,随着executor个数的增长,数据处理性能没有明显提升,对于参数调优有哪些注意事项? 回答 在executor核数等于1的情况下,遵循以下规则对调优Spark Streaming