检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当用户无法获取root用户权限,需要用omm用户操作。 以user_client用户登录将要安装客户端的服务器。 解压软件包。 进入安装包所在目录,例如“/opt/Bigdata/client”。执行如下命令解压安装包到本地目录。 tar -xvf FusionInsight_Cluster_1_Services_Client
Hive客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端,具体请参考安装客户端章节。例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管
Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样,因此建议使用集群自带jar包。
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
MRS应用开发开源jar包冲突列表说明 HBase HDFS Kafka Spark2x
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
在MRS集群客户端无法执行hbase shell命令 用户问题 在MRS集群客户端无法执行hbase shell命令。 原因分析 执行hbase shell命令前未配置环境变量。 当前MRS集群未安装HBase客户端。 处理步骤 使用root用户登录安装客户端的节点,切换到客户端
tot_ticks_old) / (rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old) MRS 2.x及以前版本: 如果rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old = 0,则svctm =
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
YARN开发指南(安全模式) YARN应用开发简介 YARN接口介绍
tot_ticks_old) / (rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old) 针对MRS 3.3.0之前版本:如果rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old = 0,则svctm
tot_ticks_old) / (rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old) 针对MRS 3.3.0之前版本:如果rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old = 0,则svctm
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.1.0 运维通道补丁说明
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.0.3.1补丁说明
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具,因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带,这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致,在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有: 1、报错类找不到:java
补丁安装后操作 升级客户端 不涉及。 升级HDFS上组件的zip包 不涉及。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.1-LTS.1.1补丁说明
解压客户端软件包。 进入客户端软件包所在的目录,例如“/tmp/clienttemp”。 cd /tmp/clienttemp 执行如下命令解压安装包。 tar -xvf FusionInsight_Cluster_1_Services_Client.tar 执行sha256sum命令校
Kafka开发指南(安全模式) Kafka应用开发简介 Kafka应用开发流程介绍 Kafka样例工程介绍 准备Kafka应用开发环境 开发Kafka应用 调测Kafka应用 Kafka应用开发常见问题
需要安装自身业务所需的软件工具或运行环境,例如需安装Gradle、业务需要依赖R语言包。 根据自身业务对大数据组件包做修改,例如对Hadoop或Spark安装包做修改。 需要安装其他MRS还未支持的大数据组件。 对于上述定制化的场景,可以选择登录到每个节点上手动操作,之后每扩容一个新节点,再执行一
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请