检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Presto HCatalog应用开发环境 为了运行Presto组件的HCatalog接口样例代码,需要完成下面的操作。此处以在Windows环境下开发HCatalog方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。
ALM-14014 NameNode进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测NameNode进程的垃圾回收(GC)占用时间,当检测到NameNode进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。 垃圾回收(GC)时间小于阈值时,告警恢复。
调测Flink SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面使用Maven执行install。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的
使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包,作业卡住 提交Spark任
修复Manager Controller 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$CONTROLLER_HOME/sbin/controller.sh文件。 cp $CONTROLLE
查看MRS组件角色实例日志 MRS集群创建成功后,用户可以通过Manager界面在线直接查看组件各角色实例的日志内容并下载指定日志文件,便于快速定位分析问题。 本章节操作仅支持MRS 3.x及之后的版本。 查看角色实例日志 登录FusionInsight Manager。 选择“集群
DBService状态正常,组件无法连接DBService 问题背景与现象 上层组件连接DBService失败,检查DBService组件状态正常,两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。
修复Manager Web 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份“$OM_TOMCAT_HOME/bin/catalina.sh”文件。 cp $OM_TOMCAT_HOME/bin/catalina
访问Spark WebUI界面 操作场景 MRS集群安装Spark组件后,用户可以通过Spark WebUI界面查看Spark应用程序运行情况。 本章节指导用户在MRS集群中访问Spark WebUI界面。 前提条件 MRS集群已安装Spark组件,并且正常运行。 已创建具有Sp
ALM-29014 Catalog FGCT超过阈值 告警解释 系统每60秒周期性检测Catalog服务的FGC时间,当检测到的FGC时间超出阈值(连续5次检测超过12秒)时产生该告警,当FGC时间小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 29014
ALM-29013 Impalad FGCT超过阈值 告警解释 系统每60秒周期性检测Impalad服务的FGC时间,当检测到的FGC时间超出阈值(连续5次检测超过12秒)时产生该告警,当FGC时间小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 29013
准备Presto JDBC应用开发环境 为了运行Presto组件的JDBC接口样例代码,需要完成下面的操作。此处以在Windows环境下开发JDBC方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。 在Presto示例工程根目录,执行mvn
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码,需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到IntelliJ
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
添加Hudi数据源 HetuEngine支持查询COW/MOR类型表数据。本章节指导用户在HSConsole界面配置Hudi类型数据源。 HetuEngine不支持Hudi的bootstrap表的读取。 添加Hudi数据源前提条件 创建Hudi数据源的代理用户,该代理用户为人机用户且需拥有hive组。
为driver失联,然后整个应用停止。 解决办法: 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间(spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark
ALM-18008 ResourceManager堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn ResourceManager堆内存使用率,并把实际的Yarn ResourceManager堆内存使用率和阈值相比较。当Yarn ResourceManager堆内
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码,需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到IntelliJ
配置HetuEngine维护实例 HetuEngine维护实例介绍 维护实例是承担自动化任务的一种特殊的计算实例,主要负责物化视图的自动刷新、自动创建和自动删除。 一个集群只能有一个计算实例被设置为维护实例,也可以同时承担计算实例的业务。一个租户存在多个计算实例时,仅有一个计算实
ALM-18010 ResourceManager进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测ResourceManager进程的垃圾回收(GC)占用时间,当检测到ResourceManager进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。