检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级? 回答 当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下:
多副本场景下,运行在副本丢失损坏的BE节点的查询任务报错 现象描述 如果多个副本直接从磁盘上丢失了副本,比如mv改名,内核不会感知到该副本丢失,执行查询时如果请求运行在副本丢失的BE节点,报错: 处理步骤 登录安装了MySQL的节点,连接Doris数据库。 调用BE的check_tablet_segment_lost
方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。
选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。
REGISTER INDEX TABLE 命令功能 REGISTER INDEX TABLE命令用于将索引表注册到主表。 命令语法 REGISTER INDEX TABLE indextable_name ON db_name.maintable_name; 参数描述 表1 REFRESH
集群出现ALM-14012 Journalnode数据不同步告警 问题背景与现象 MRS集群出现ALM-14012 Journalnode数据不同步告警。 原因分析 登录告警节点,查找日志路径“/var/log/Bigdata/hdfs/nn”下Journalnode实例的startDetail.log
运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败,查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中,方便后面获取。 而当某个executor异常退出时,
REGISTER INDEX TABLE 命令功能 REGISTER INDEX TABLE命令用于将索引表注册到主表。 命令语法 REGISTER INDEX TABLE indextable_name ON db_name.maintable_name; 参数描述 表1 REFRESH
HDFS进入安全模式导致HBase服务异常,退出安全模式后HBase如何快速恢复 现象描述 MRS 3.5.0及之后版本,HDFS进入安全模式后导致HBase服务异常,退出安全模式后HBase如何快速恢复? 原因分析 HDFS进入安全模式后HBase服务异常,导致meta表下线;HDFS
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 配置描述 登录Manager,选择“集群 > 服务
提升HBase实时读数据效率 操作场景 需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 > 全部配置
HBase访问多个ZooKeeper样例程序 功能简介 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper,其中HBase客户端访问FusionInsight ZooKeeper,客户应用访问第三方ZooKeeper。 代码样例
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档: http://hadoop.apache.org
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取集群版本与状态信息。 代码样例 连接RestServer服务 普通模式下,用户不需要登录即可连接RestServer服务。所以请将“hbase-rest-example
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTPS协议,获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huawei
选择平台类型:默认勾选即可,例如“x86_64”。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。
导出Manager用户列表 功能简介 通过访问Manager接口完成导出用户列表,导出用户列表需要依次调用导出和下载接口完成用户列表的导出。导出接口的输出为下载接口的输入。 代码样例 以下代码片段是导出用户列表的示例,在“rest”包的“ExportUsers”类的main方法中。
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop.apache.org
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop.apache.org
HBase访问多个ZooKeeper样例程序 功能简介 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper,其中HBase客户端访问FusionInsight ZooKeeper,客户应用访问第三方ZooKeeper。 代码样例