检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
deManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm
产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例任务积压,会导致该计算实例性能下降,业务SQL响应变慢。 可能原因 计算实例资源配置过小。 业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤
问题背景与现象 在备NameNode长期异常的情况下,会积攒大量的editlog,此时如果重启HDFS或者主NameNode,主NameNode会读取大量的未合并的editlog,导致耗时启动较长,甚至启动失败。 原因分析 备NameNode会周期性做合并editlog,生成fsimage
产生告警的主机名。 对系统的影响 RegionServer的Region数超出阈值,过多的Region会加剧RegionServer的负载,使得内存、磁盘IO、CPU等资源出现瓶颈,最终导致请求响应变慢,甚至超时。 可能原因 RegionServer的Region分布不均衡。 HBase集群规模过小。
端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败,请检查网络连接或参数设置。 使用VNC方式,登录弹性云服务器(B集群)。参见登录弹性云服务器(VNC方式) 。 所有镜像均支持Cloud-init特性。Cloud-init预配置的
= 384 MB 可能原因 目录配置的剩余的空间小于写文件实际需要的空间。 原因分析 HDFS支持设置某目录的配额,即限制某目录下的文件最多占用空间大小,例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件(文件大小*副本数)。 hadoop dfsadmin -setSpaceQuota
临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。
分区列必须有索引,如果没有索引,请不要指定分区列,指定没有索引的分区列会导致数据库服务器磁盘I/O繁忙,影响其他业务访问数据库,并且导入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。 分区列的排序规则必须支持大小写敏
ALM-12110 获取ECS临时ak/sk失败 告警解释 meta每五分钟调用ECS接口获取AK/SK信息,并缓存在meta中,在AK/SK过期失效之前会再次调用ECS接口更新AK/SK,如果连续三次调用接口失败,会产生该告警。 当meta服务调用ECS接口成功时,告警清除。 告警属性
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
ALM-45741 请求ECS securitykey接口失败 本章节仅适用于MRS 3.2.1及之后版本。 告警解释 Guardian 会缓存ECS委托的临时aksk,当缓存不存在或者快要过期时,Guardian会去调用ECS的securitykey接口刷新aksk,当调用接口失败时,会产生该告警。
添加Hive服务后,提交hivesql/hivescript作业失败如何处理? Spark Job对应的运行日志保存在哪里? 执行Spark任务报内存不足告警如何处理? 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理? SparkSQL访问Hive分区表启动Job前耗时较长如何处理?
行计划,并将执行计划转换成RDD语义下的DAG,最后将DAG作为Spark的任务提交到Spark集群上进行计算,并合理利用Spark分布式内存计算能力,提高了Hive查询效率。 父主题: Hive
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
特性说明:Kafka从0.11.0.0版本引入了创建幂等性Producer的功能,开启此特性后,Producer自动升级成幂等性Producer,当Producer发送了相同字段值的消息后,Broker会自动感知消息是否重复,继而避免数据重复。需要注意的是,这个特性只能保证单分区上的幂等性,即一个幂
(GET) 描述 获取服务器WebHCat的版本 URL http://www.myserver.com/templeton/v1/version 参数 无 返回结果 参数 描述 supportedVersions 所有支持的版本 version 当前服务器WebHCat的版本 例子
(GET) 描述 获取服务器WebHCat的版本 URL https://www.myserver.com/templeton/v1/version 参数 无 返回结果 参数 描述 supportedVersions 所有支持的版本。 version 当前服务器WebHCat的版本。
HBase服务状态,表1为部分可能影响HBase服务状态的配置: 表1 影响HBase服务状态的配置 参数名称 可能影响 GC_OPTS 内存配置可能存在不合理,需要排查实例进程健康情况。 hbase.rpc.protection 该配置值修改后,未离线重启整个HBase服务,将导致服务内连接认证失败,服务异常。
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian调用ECS metadata失败时,可能会导致获取访问OBS的临时aksk失败,进而业务无法正常访问OBS。 可能原因 ECS底层接口异常,导致请求失败。 处理步骤 收集故障信息。 在FusionInsight