检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43019”的告警,查看
行变慢或失败。 可能原因 该节点IndexServer2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43021”的告警,查
务历史执行记录。 可能原因 该节点JobHistory2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43008”的告警,查
SecurityKafkaWordCount。 /** *从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举,制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表
java:745) 节点上下电,RegionServer的wal分裂失败导致。 解决办法 停止HBase组件。 通过hdfs fsck命令检查/hbase/WALs文件的健康状态。 hdfs fsck /hbase/WALs 输出如下表示文件都正常,如果有异常则需要先处理异常的文件,再执行后面的操作。
动重启实例”界面单击“确定”,等待滚动重启完成,使其生效。 配置生效后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查集群是否存在热点问题 在FusionInsight Manager首页,选择“集群 > 服务 > HBase”,单击“HMaster We
FILE[S] <filepath>* list JAR[S] <filepath>* list ARCHIVE[S] <filepath>* 检查给定的资源是否已添加至分布式缓存中。 delete FILE[S] <filepath>* delete JAR[S] <filepath>*
bs/cdluser.keytab Principal cdluser Description xxx 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。
Streaming基本概念。 基本概念 准备开发和运行环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程
主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 恢复HBase业务数据 在FusionInsight Manager,选择“运维
Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多HDFS子目录,如果不依赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。 云数据迁移服务(CDM)可以请轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。
写入存储,如与前文textFile对应的saveAsTextFile。 还有一个检查点算子checkpoint。当Lineage特别长时(这在图计算中时常发生),出错时重新执行整个序列要很长时间,可以主动调用checkpoint把当前数据写入稳定存储,作为检查点。 Shuffle Shuffle是MapRed
-xvf FusionInsight_Cluster_1_Services_Client.tar 执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig
Spark应用开发常用概念 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。 请参考准备Spark应用Java开发环境至准备Spark应用Python开发环境章节 准备运行环境
作步骤如下: 登录FusionInsight Manager界面,单击右上角任务中心图标,确认任务管理中心无执行中的任务。 使用PuTTY工具,以omm用户登录主管理节点。 执行以下命令重启controller。 sh ${BIGDATA_HOME}/om-server/om/s
> 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 方法二:在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean install命令进行编译。
historyserver-<SSH_USER>-<DATE>-<PID>-gc.log MR服务垃圾回收日志。 jhs-haCheck.log MR实例主备状态检查日志。 yarn-start-stop.log MR服务启停操作日志。 yarn-prestart.log MR服务启动前集群操作的记录日志。
replication.factor 自动创建Topic时的默认副本数。 2 monitor.preInitDelay 服务启动后,第一次健康检查的延迟时间。如果启动需要较长时间,可以通过调大参数,来完成启动。单位为毫秒。 600000 超时参数 表2 Broker相关超时参数 参数名称
JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43010”的告警,查看
JDBC任务执行变慢或失败。 可能原因 该节点JDBCServer2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43012”的告警,查