-
准备Eclipse与JDK - MapReduce服务 MRS
准备Eclipse与JDK 操作场景 开发环境可以搭建在Windows环境下。 操作步骤 安装Eclipse程序。安装要求Eclipse使用3.0及以上版本。 安装JDK程序。安装要求JDK使用1.7及或者1.8版本,支持IBM JDK和Oracle JDK。 若使用IBM JD
-
配置数据连接 - MapReduce服务 MRS
登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 配置RDS数据连接相关操作请参考创建RDS数据连接相关操作进行配置。 RDS服务PostgreSQL数据库,MRS支持Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库,支持Hive或Ranger组件的集群支持连接该类型数据库。
-
配置存算分离集群(委托方式) - MapReduce服务 MRS
制,可参考配置MRS多用户访问OBS细粒度权限创建自定义的角色策略。 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS
-
服务配置 - MapReduce服务 MRS
服务配置 修改服务配置参数 修改服务自定义配置参数 父主题: 管理服务
-
配置Hive数据连接 - MapReduce服务 MRS
Hive元数据 连接类型 RDS服务PostgreSQL数据库(1.9.x版本支持) RDS服务MySQL数据库 本地数据库 连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称,该连接必
-
MRS集群切换VPC后集群状态异常不可用 - MapReduce服务 MRS
MRS集群切换VPC后集群状态异常不可用 问题现象 客户MRS集群,在ECS侧将所有节点的VPC切换后集群状态异常。 所有服务不可用,其中Hive beeline报错如下: 原因分析 MRS不支持切换VPC,切换VPC后,节点的内网IP变化,但是配置文件和数据库还是原有的IP,导致集群通信等功能异常,集群状态也会
-
配置弹性伸缩指标 - MapReduce服务 MRS
在添加自动化脚本时,可以参考表4配置相应参数。 表4 自动化脚本配置说明 配置项 说明 名称 自动化脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明: 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径
-
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 - MapReduce服务 MRS
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。
-
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 - MapReduce服务 MRS
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。
-
存储配置 - MapReduce服务 MRS
值。 0.1 hoodie.parquet.compression.codec parquet压缩编解码方式名称,默认值为gzip。可能的选项是[gzip | snappy | uncompressed | lzo] snappy hoodie.logfile.max.size
-
配置Flume对接安全模式Kafka - MapReduce服务 MRS
keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 其中keyTab和principal的值请按照实际情况配置,所配置的principal需要有相应的kafka的权限。
-
配置Ranger数据连接 - MapReduce服务 MRS
Manager页面。 选择“集群 > 服务 > Hive”,进入Hive服务概览页面。 单击“更多 > 重启服务”或“更多 > 滚动重启服务”。 图7 重启服务 重启服务会造成业务中断,滚动重启可以尽量减少或者不影响业务运行。 父主题: 配置RDS数据连接
-
创建集群时配置弹性伸缩 - MapReduce服务 MRS
在购买包含有Task类型节点组件的集群时,参考购买自定义集群配置集群软件配置和硬件配置信息后,在“高级配置”页签的弹性伸缩栏,打开对应Task节点类型后的开关按钮,即可进行弹性伸缩规则及资源计划的配置或修改。 图1 创建集群时配置弹性伸缩 您可以参考以下场景进行配置: 场景1:单独配置弹性伸缩规则 场景2:单独使用资源计划
-
同步服务配置 - MapReduce服务 MRS
同步服务配置 操作场景 当用户发现部分服务的“配置状态”为“过期”或“失败”时,您可以尝试使用同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 对系统的影响 同步服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。
-
查看配置 - MapReduce服务 MRS
组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。 将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 图3 全部配置 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。
-
ALM-12037 NTP服务器异常(2.x及以前版本) - MapReduce服务 MRS
ALM-12037 NTP服务器异常(2.x及以前版本) 告警解释 当NTP服务器异常时产生该告警。 当NTP服务器异常消除时,该告警恢复。 告警属性 告警ID 告警级别 可自动清除 12037 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
-
通过公网IP连接使用HDFS客户端报错 - MapReduce服务 MRS
通过公网IP连接使用HDFS客户端报错 问题现象 通过公网IP连接主机,不能使用HDFS客户端,运行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。
-
同步角色实例配置 - MapReduce服务 MRS
操作步骤 在集群详情页,单击“组件管理”。 图2 组件管理 选择服务名称。 单击“实例”页签。 在角色实例列表中,单击指定角色实例名称。 在角色实例状态及指标信息上方,选择“更多 > 同步配置”。 在弹出窗口勾选“重启配置过期的服务”,并单击“是”重启角色实例。 父主题: 组件管理
-
构造请求 - MapReduce服务 MRS
URI-scheme:表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint:指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从终端节点中获取。例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud
-
查看配置 - MapReduce服务 MRS
查看配置 用户可以在MRS Manager上查看服务(含角色)和角色实例的配置。 操作步骤 查看服务的配置。 在MRS Manager,单击“服务管理”。 单击服务列表中指定的服务名称。 单击“服务配置”。 在“参数类别”选择“全部配置”,界面上将显示该服务的全部配置参数导航树,