检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行4。 检查磁盘使用率是否达到上限 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称和磁盘分区信息。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。
r节点和备集群RegionServer所在主机的网络连接是否正常。 是,执行5 否,执行3 联系网络管理员恢复网络。 网络恢复后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查主集群RegionServer的Region分布情况 在FusionInsight
计算节点,尽可能的降低使用成本。 平衡突发查询 大数据集群上,由于有大量的数据,企业会经常面临临时的分析任务,例如支撑企业决策的临时数据报表等,都会导致对于资源的消耗在极短时间内剧增。MRS提供的弹性伸缩能力,可以在突发大数据分析时,及时补充计算节点,避免因为计算能力不足,导致业
ch.so {客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/aarch64/libjsig.so" 注意:此处需要与表中spark.yarn.dist.files参数使用同一路径下的libch.so和libjsig.so,多个so间用空格隔开,前后需要加上双引号。
保留期到期后,若包年/包月MRS集群仍未续费,集群将终止服务,系统中的数据也将被永久删除。 若已确定到期集群不再使用,可登录MRS管理控制台,在现有集群列表选择需删除集群所在行的“操作”列的“更多 > 释放”删除集群。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。
spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark.rpc.askTimeout)。 表1 参数说明 参数 描述 默认值 spark.rpc.askTimeout RPC响应超时时间,不配置的话默认使用spark.network
partitions 由org.apache.hudi.io.compact.strategy.DayBasedCompactionStrategy使用,表示在压缩运行期间要压缩的最新分区数。 10 hoodie.compaction.payload.class 这需要与插入/插入更新过程中使用
FusionInsight_Cluster_1_Flume_Client.tar 校验软件包。 执行sha256sum -c命令校验解压得到的文件,返回“OK”表示校验通过。例如: sha256sum -c FusionInsight_Cluster_1_Flume_ClientConfig.tar.sha256
临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。 以omm用户登录告警所在主机。 执行cat /proc/sys/net/ipv4/ip_local_port_range
r节点和备集群RegionServer所在主机的网络连接是否正常。 是,执行5 否,执行3 联系网络管理员恢复网络。 网络恢复后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查主集群RegionServer的Region分布情况 在FusionInsight
e、Channel、Sink三个模块组成,其中Source负责接收数据,Channel负责数据的传输,Sink则负责数据向下一端的发送。 表1 模块说明 名称 说明 Source Source负责接收数据或通过特殊机制产生数据,并将数据批量放到一个或多个Channel。Source的类型有数据驱动和轮询两种。
的维护集群。当您需要对集群进行巡检时,请通过该功能授权后,联系运维人员进行巡检并获取巡检结果。MRS支持的所有巡检脚本见界面中的巡检脚本列表,MRS目前仅支持证书检测脚本,用来检查集群中的证书是否过期。 开启巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。
FusionInsight_Cluster_1_Flume_Client.tar 校验软件包。 执行sha256sum -c命令校验解压得到的文件,返回“OK”表示校验通过。例如: sha256sum -c FusionInsight_Cluster_1_Flume_ClientConfig.tar.sha256
eeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果
eeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果
cn=pg_search_dn,ou=Users,dc=hadoop,dc=com -e ppolicy 输入LDAP用户pg_search_dn的密码,出现如下提示表示该用户被锁定,则需要解锁用户,具体请参见解锁MRS集群LDAP管理账户。 ldap_bind: Invalid credentials (49);
xml。 MapReduce客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。
入以下系统属性:-Djute.maxbuffer=X。 例如,将参数值设置为4MB:-Djute.maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。
入以下系统属性:-Djute.maxbuffer=X。 例如,将参数值设置为4MB:-Djute.maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。
xml。 MapReduce客户端配置文件路径:客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 参数 配置描述 节点容器槽位数 yarn.nodemanager.resource.memory-mb 参数解释