正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加ClickHouse数据源 ClickHouse数据源中同一个Schema(或Database)下不能存在名字内容相同但大小写格式不同的Table,例如:cktable(小写)、CKTABLE(大写)和CKtable(大小写混合),该内容的Table只能有一个,否则HetuE
映射。主机名和IP地址请保持一一对应。 已安装客户端时编译并运行程序 进入样例工程本地根目录,在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}" clean package 上述打包命令中的{maven_settin
xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei.hadoop.datasight.io.compress
调测Flink SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面使用Maven执行install。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的
准备Presto HCatalog应用开发环境 为了运行Presto组件的HCatalog接口样例代码,需要完成下面的操作。此处以在Windows环境下开发HCatalog方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。
清理Loader作业残留历史数据 本章节适用于MRS 3.2.0及之后版本。 操作场景 在业务不断运行中,Loader会积累大量的历史数据,这些历史数据可能会对作业提交、作业运行、作业状态获取等产生影响,严重时可能导致页面访问卡顿,作业运行失败等,所以需要根据具体Loader业务数据量,合理配置历史数据清理机制。
ALM-18018 NodeManager堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn服务堆内存使用状态,当检测到NodeManager实例堆内存使用率超出阈值(最大内存的95%)时产生该告警。 堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
调测Flink SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面使用Maven执行install。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的
ALM-45442 SQL并发数过高 告警解释 告警模块按30秒周期检测ClickHouse服务的实际并发数,若并发数超过界面配置的并发阈值,系统产生此告警。 当系统检测到实际并发数低于并发阈值时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45442 重要 是 告警参数
ALM-18011 NodeManager进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测NodeManager进程的垃圾回收(GC)占用时间,当检测到NodeManager进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。 垃圾回收(GC)时间小于阈值时,告警恢复。
修复Manager Controller 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$CONTROLLER_HOME/sbin/controller.sh文件。 cp $CONTROLLE
ALM-12172 指标上报CES失败 告警解释 集群开启指标共享后,controller周期性的收集集群指标信息并上报到CES。 告警属性 告警ID 告警级别 是否自动清除 12172 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或者系统名称 服务名 产生告警的服务名称
使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包,作业卡住 提交Spark任
ALM-14014 NameNode进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测NameNode进程的垃圾回收(GC)占用时间,当检测到NameNode进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。 垃圾回收(GC)时间小于阈值时,告警恢复。
CDL任务运行一段时间后发生“104”或“143”报错 现象描述 CDL任务运行一段时间后,Yarn任务失败,并返回状态码“104”或“143”。下图为返回状态码“143”: 可能原因 抓取到Hudi中的一批数据量过大,导致任务内存不足。 处理步骤 登录FusionInsight
DBService状态正常,组件无法连接DBService 问题背景与现象 上层组件连接DBService失败,检查DBService组件状态正常,两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。
修复Manager Web 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份“$OM_TOMCAT_HOME/bin/catalina.sh”文件。 cp $OM_TOMCAT_HOME/bin/catalina
访问Spark WebUI界面 操作场景 MRS集群安装Spark组件后,用户可以通过Spark WebUI界面查看Spark应用程序运行情况。 本章节指导用户在MRS集群中访问Spark WebUI界面。 前提条件 MRS集群已安装Spark组件,并且正常运行。 已创建具有Sp
ALM-29014 Catalog FGCT超过阈值 告警解释 系统每60秒周期性检测Catalog服务的FGC时间,当检测到的FGC时间超出阈值(连续5次检测超过12秒)时产生该告警,当FGC时间小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 29014
准备Presto JDBC应用开发环境 为了运行Presto组件的JDBC接口样例代码,需要完成下面的操作。此处以在Windows环境下开发JDBC方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。 在Presto示例工程根目录,执行mvn