检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建MRS集群时计价器为什么未显示价格? MRS集群中的弹性伸缩功能如何收费? MRS集群的Task节点如何收费? 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?
更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题: 使用HDFS
更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题: 使用HDFS
measurements, List<String> values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tablet,Tablet是
measurements, List<String> values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tablet,Tablet是
Execution特性后,Spark SQL能自动处理数据倾斜场景,对倾斜的分区,启动多个task进行处理,每个task读取若干个shuffle输出文件,再对这部分任务的Join结果进行Union操作,以达到消除数据倾斜的效果 配置参数 登录FusionInsight Manager系统,选择“集群
proxyuser.test.groups * 重启HDFS、Yarn、Spark、Hive服务,并更新客户端HDFS、Yarn、Spark、Hive配置文件。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env
Execution特性后,Spark SQL能自动处理数据倾斜场景,对倾斜的分区,启动多个task进行处理,每个task读取部分shuffle输出文件,再对这部分任务的Join结果进行Union操作,以达到消除数据倾斜的效果。 配置参数 登录FusionInsight Manager系统,选择“集群
标签的一个常见用法是使用生成数据点的机器名称以及机器所属的集群或池的名称来注释数据点。这使您可以轻松地制作显示每个服务器的服务状态的仪表盘,以及显示跨逻辑服务器池的聚合状态的仪表盘。 OpenTSDB系统表简介 OpenTSDB是基于HBase存储时序数据的,在集群中开启Ope
导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置 修改MRS集群Manager路由表 父主题: 管理MRS集群
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 故障状态的DataNode节点无法提供HDFS服务,可能导致用户无法读写文件。 可能原因 DataNode故障或者负荷过高。 NameNode和DataNode之间的网络断连或者繁忙。 NameNode负荷过高。
tsdb命令可以使用“tsdb import”命令批量导入指标数据,可执行如下命令: 准备指标数据,如包含如下内容的importData.txt文件。 sys.cpu.user 1356998400 41 host=web01 cpu=0 sys.cpu.user 1356998401
关机计费策略 一般情况下,对于按需计费的MRS集群,对集群所有的弹性云服务器进行关机后,相关计费策略如下: MRS集群管理服务费仍旧正常计费,如需停止计费请删除相应集群。 弹性云服务器的关机计费规则请参见弹性云服务器计费说明。 云硬盘的关机计费规则请参见云硬盘计费说明。 父主题:
上已存在的标签。 MRS标签更新会同步到集群中的云服务器(ECS)或云硬盘(EVS)标签上,但是在ECS或EVS控制台上修改MRS集群的标签不会同步到集群上,为了使所有ECS/ECS标签与MRS标签保持一致,不建议在云服务器(ECS)或云硬盘(EVS)控制台上修改MRS集群标签。
查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知 父主题: MRS集群运维
errors.cache() errors.count() textFile算子从HDFS读取日志文件,返回file(作为RDD)。 filter算子筛出带“ERROR”的行,赋给errors(新RDD)。filter算子是一个Transformation操作。 cache算子缓存下来以备未来使用。
hing值);如果业务侧业务暂时无法优化,可以在应用侧的“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中新增或修改以下参数(仅减少告警日志打印,不会缓解过载)。 表2 减少告警日志打印 参数名称 参数描述 调整策略 hbase.rpc.rows
否,执行8。 参考HDFS服务的相关告警帮助进行处理,然后查看本告警是否恢复。 是,处理完毕。 否,执行18。 登录HDFS检查Oozie文件目录是否完整。 下载并安装HDFS客户端。 以root用户登录客户端所在节点,执行以下命令,检查“/user/oozie/share”路径
> Storm”,选择“配置”选项卡,在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值,建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunj
wheel 系统内部运行用户“omm”的主组。 ficommon 系统公共组,对应“compcommon”,可以访问集群在操作系统中保存的公共资源文件。 如果当前集群不是在FusionInsight Manager内第一次安装的集群,集群内除Manager以外其他组件对应的默认用户组名称