检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,处理完毕。 否,执行29。 检查本地磁盘空间是否正常。 执行df -h命令检查根目录,查看“/srv”、“/var”和“/opt”目录挂载的磁盘使用是否超过95%。 是,执行30。 否,执行31。 清理对应目录下无用信息,保证可用磁盘空间大于80%,等待几分钟查看“Hive服务不可用”告警是否清除。
200ms 磁盘 HDFS磁盘空间使用率 HDFS磁盘空间使用率。 80% DataNode磁盘空间使用率 HDFS文件系统中DataNode可以使用的磁盘空间率。 80% 总副本预留磁盘空间所占比率 总副本预留磁盘空间占DataNode总未使用磁盘空间的百分比。 90% 资源 故障的DataNode总数
操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。 MRS3.x及后续版本: 以root用户登录已安装Hive客户端的节点。 执行以
如何在不同的namespaces上逻辑地分割数据 为什么在Spark Shell中不能执行更新命令? 如何在CarbonData中配置非安全内存? 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 开启防误删下,为什么Carbon表没有执行drop table命令,回收站中也会存在该表的文件?
盘,cache_reserved_space设置为300GB,cache_cap_max_available_rate设置为30%,如果磁盘空间小于300GB,尽管MemArtsCC的缓存没有达到最大可使用容量900GB,MemArtsCC也会动态淘汰缓存。 512MB auto
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
详情说明请参考配置MRS集群安全通信授权。 勾选授权 表5 MRS集群高级配置信息 参数 描述 示例 主机名前缀 用作集群中ECS服务器或BMS服务器主机名的前缀。 - 加密算法 集群系统中各类密码信息加解密所使用的算法。 国际算法:通用加密算法。 国密算法:SM系列商密算法,同时兼容通用加密算法。
ComponentName 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障,导致数据无法发送。
续费概述 包年/包月MRS集群到期后会影响云服务器正常运行。如果您想继续使用,需要在指定的时间内为MRS集群续费,否则集群将终止服务,系统中的数据也将被永久删除。 续费操作仅适用于包年/包月MRS集群,按需计费MRS集群不需要续费,只需要保证账户余额充足即可。 MRS集群在到期前
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
如何在不同的namespaces上逻辑地分割数据 为什么在Spark Shell中不能执行更新命令? 如何在CarbonData中配置非安全内存? 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory
用户活动信息和操作信息,可通过Manager导出审计日志。当系统中的审计日志过多时,可通过配置转储参数,将审计日志转储到指定服务器,避免引起集群节点磁盘空间不足。 维护责任人 网络监控工程师、系统维护工程师。 Manager例行维护 为了保证系统长期正常、稳定的运行,管理员或维护
节点的实例规格,例如:{ECS_FLAVOR_NAME}.linux.bigdata,{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从M
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MR
6版本(CentOS 7.6) 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 若未安装
集群外节点提交Spark作业时报错无法连接Driver 运行Spark任务发现大量shuffle结果丢失 JDBCServer长时间运行导致磁盘空间不足 spark-shell执行SQL跨文件系统load数据到Hive表失败 Spark任务提交失败 Spark任务运行失败 JDBCServer连接失败
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
ode删除了对应的Block后重启NameNode,即不会存在这种情况。 您可以通过hdfs dfsadmin -report命令来查看磁盘空间,检查文件是否删除完毕。 如已大量出现以上日志,您可以将NameNode的日志级别修改为ERROR,NameNode不会再打印此日志信息。
如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际