检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
service 检查系统熵值。 手动检查操作系统熵值。 以root用户登录节点,执行cat /proc/sys/kernel/random/entropy_avail命令,检查操作系统熵值是否满足集群的安装要求(不低于100)。 是,操作系统熵值不低于100,执行9。 否,操作系统熵值低于1
配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离时,可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后,默认的底层存储地址是hdfs://hacluster/
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接。 FTP协议未加密数据可能存在
配置Container日志聚合功能 配置场景 Yarn提供了Container日志聚合功能,可以将各节点Container产生的日志收集到HDFS,释放本地磁盘空间。日志收集的方式有两种: 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一: FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
EXPLAIN ANALYZE 语法 EXPLAIN ANALYZE [VERBOSE] statement 描述 执行一条SQL语句,并显示分布式执行计划,以及过程中每个操作的代价。 VERBOSE可选参数,带上这个参数意味着会显示更多详细信息和底层统计数据。这个统计信息不能保
配置Container日志聚合功能 配置场景 YARN提供了Container日志聚合功能,可以将各节点Container产生的日志收集到HDFS,释放本地磁盘空间。日志收集的方式有两种: 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
配置Yarn本地化日志级别 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称 >
重要 次要 提示 重要 阈值类型 选择某指标的最大值或最小值,类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警,类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 最大值 日期 设置规则生效的日期,即哪一天运行规则。取值范围为: 每天 每周 其他 开启“分级告警开关”后,仅支持“每天”。
x及后续版本集群。 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称 >
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套,出现Timeout waiting for task异常导致Shuffle FetchFailed,Stage一直重试,任务无法正常完成。
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高危操
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套,出现Timeout waiting for task异常导致Shuffle FetchFailed,Stage一直重试,任务无法正常完成。
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象? 出现该问题时,查看ZooKeeper和ZKFC的日志,发现ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessio
败 问题 系统默认的AppAttempts运行失败的次数为2。 为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,若ContainerExitStatus的返回值为ABORTED、PREEMPTED、DISKS_FAILED、KI
使用Sasl Plaintext认证 本章节适用于MRS 3.2.0及之后版本。 操作场景 在启用Kerberos认证集群环境下,Kafka当前支持Sasl Plaintext认证。 操作步骤 Kafka服务端配置Sasl Plain认证。 登录FusionInsight Manager页面。
败 问题 系统默认的AppAttempts运行失败的次数为2,为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,如果ContainerExitStatus的返回值为ABORTED、PREEMPTED、DISKS_FAILED、KI