检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/conf”。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
平滑次数为1,Hive数据仓库空间使用率小于或等于阈值时,告警恢复;平滑次数大于1,Hive数据仓库空间使用率小于或等于阈值的90%时,告警恢复。 MRS集群管理员可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。 告警属性 告警ID 告警级别 是否自动清除 16001 次要 是 告警参数
已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
正确执行。 是,执行4.e。 否,执行4.a。 检查HDFS、Yarn、ZooKeeper等是否正常。 登录MRS集群详情页面,选择“组件管理”。 在服务列表查看HDFS、Yarn、ZooKeeper等服务是否正常。 是,执行4.e。 否,执行4.c。 查看告警界面的相关告警,参照对应告警帮助进行处理。
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址,附加信息内容。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log,检索关键字“LOG
的主机名所在的节点IP地址。 获取ZooKeeper进程pid。以root用户登录到告警上报的节点,用户密码为安装前用户自定义,请咨询系统管理员,执行命令:pgrep -f proc_zookeeper。 是否正常获取pid。 是,执行4。 否,执行15。 获取所有与当前ZooK
代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。 执行如下命令,运行Jar包。
MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置 是 日志信息丢失 /tenant 添加租户时创建 配置租户在HDFS中的存储目录,系统默认将自动在“/tenant”目录
查看任一部署Flume角色节点的“业务IP”。 登录集群详情页面,选择“集群 > 组件管理 > Flume > 实例”,查看任一部署Flume角色节点的“业务IP”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”,
已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
meNode备份。当一台机器故障时,可以迅速地自动进行NameNode主备切换。或者当主NameNode节点需要进行维护时,通过MRS集群管理员控制,可以手动进行NameNode主备切换,从而保证集群在维护期间的可用性。 有关HDFS自动故障转移功能,请参阅: MRS 3.2.0之前版本:http://hadoop
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
获取2中查看到的NodeManager目录,以root用户登录每个NodeManager节点,并进入获取到的目录,用户密码为安装前用户自定义,请咨询系统管理员。 执行ll命令查看对应localdir的文件夹和containerlogs文件夹权限,确认权限是否是“755”,且“用户:属组”是否为“omm:ficommon”。
i时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。 父主题: Hudi数据表设计规范
timeout akka通信超时时间,通过-yD添加。 240s 必填 taskmanager.memory.segment-size 内存管理和网络栈使用的内存缓冲块字节数大小,默认值: 32768 (32KB),通过-yD添加。 64kb 选填 taskmanager.network
操作。 保留期到期后,若包年/包月MRS集群仍未续费,集群将终止服务,系统中的数据也将被永久删除。 若已确定到期集群不再使用,可登录MRS管理控制台,在现有集群列表选择需删除集群所在行的“操作”列的“更多 > 释放”删除集群。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
检查该节点与主OMS节点NTP服务时间偏差是否太大。 NTP告警的“附加信息”是否描述时间偏差(time offset)太大。 是,执行4.b。 否,执行5。 在“主机管理”页面,勾选告警节点的主机,选择“更多 > 停止所有角色”停止告警节点的所有服务。 如果告警节点时间比主OMS节点NTP服务时间慢,校正告
1所示。 表1 splitlog参数说明 参数 描述 默认值 hbase.splitlog.manager.timeout 分布式日志分裂管理程序接收worker回应的超时时间 600000 父主题: HBase故障排除