检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更改NodeManager角色的存储目录。 选择“现有集群”,单击集群名称。选择“组件管理 > Yarn > 停止”,停止Yarn服务。 登录弹性云服务器,以root用户登录到安装Yarn服务的各个节点中,执行如下操作。 创建目标目录。 例如目标目录为“${BIGDATA_DATA_HOME}/data2”:
云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务。 “持续时间”选择“永久”并单击“下一步”。 图4 创建委托 在弹出授权页面的搜索框内,搜索“OBS OperateAccess”策略,勾选“OBS OperateAccess”策略。 单
通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置MRS集群通过IAM委托对接OBS。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥
理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签单击“Add New Policy”,添加Hive权限控制策略。 根据业务需求配置相关参数。 表1 Hive权限参数 参数名称 描述
”。 图6 选择JDK目录 完成JDK选择后,单击“OK”完成配置。 图7 完成JDK配置 (可选)如果导入Scala语言开发样例工程,还需要在IntelliJ IDEA中安装Scala插件。 在“Configure”下拉菜单中,单击“Plugins”。 图8 Plugins 在
principal名。 security.kerberos.login.principal: abc222 对于HA模式,如果配置了ZooKeeper,还需要设置ZooKeeper Kerberos认证相关的配置。 zookeeper.sasl.disable: false security
HDFS的DataNode一直显示退服中 用户问题 HDFS的DataNode一直显示退服中。 问题现象 HDFS的某个DataNode退服(或者对Core节点进行缩容)任务失败,但是DataNode在任务失败后一直处于退服中的状态。 原因分析 在对HDFS的某个DataNode
ALM-12017 磁盘容量不足 告警解释 系统每30秒周期性检测磁盘使用率,并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值,当检测到磁盘使用率超过阈值时产生该告警。 平滑次数为1,主机磁盘某一分区使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机磁盘某一分区使用率小于或等于阈值的90%时,告警恢复。
理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签单击“Add New Policy”,添加Hive权限控制策略。 根据业务需求配置相关参数。 表1 Hive权限参数 参数名称 描述
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
restful”接口调用进行日志记录。 安全加固:“access log”支持配置:“jobmanager.web.accesslog.enable”,默认为“true”。且日志保存在单独的“webaccess.log”文件中。 跨站请求(CSRF)伪造防范: 说明:在B/S应用中,对于涉及服务器端数据改动(如增加
从零开始使用Loader 用户可以使用Loader将数据从SFTP服务器导入到HDFS。 本章节适用于MRS 3.x之前版本。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 访问Loader页面。 登录集群详情页面,选择“服务管理”。 选择“Hue”,在“Hue概述”的“Hue
Task节点的实例规格,例如:{ECS_FLAVOR_NAME}.linux.bigdata,{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从M
备份目录当前仅支持RemoteHDFS类型: “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。 MRS 3.2.0及之后版本:选择此参数值,还需要配置以下参数: “源端NameService名称”:填写备份数据集群的NameService名称。可在备集群HDFS服务的“管理NameS
yaml”中的“jobmanager.web.access-control-allow-origin”和“jobmanager.web.allow-access-address”配置项中,IP地址之间使用英文逗号分隔。 jobmanager.web.access-control-allow-origin:
再次输入Manager管理员用户的密码。 xxx 登录方式 登录集群ECS节点的方式。 选择“密码”。 用户名 用于登录ECS的用户,目前默认为root用户。 root 密码 配置登录ECS的用户密码。 xxx 确认密码 再次输入登录ECS的用户密码。 xxx 单击“下一步”,在“确认配置”页
yaml”中的“jobmanager.web.access-control-allow-origin”和“jobmanager.web.allow-access-address”配置项中,IP地址之间使用英文逗号分隔。 jobmanager.web.access-control-allow-origin:
步骤1:在MRS集群外节点安装客户端 准备一台不属于MRS集群的Linux弹性云服务器,绑定一个弹性IP,参考集群外节点安装客户端章节安装集群客户端,例如安装目录为“/opt/client”。 确认MRS集群是否开启了Kerberos认证。 是,执行3。 否,执行步骤2:安装Python3。
Attached Storage)是一种特殊的专用数据存储服务器,包括存储器件和内嵌系统软件,可提供跨平台文件共享功能。利用NFS(支持NFSv3、NFSv4)和CIFS(支持SMBv2、SMBv3)协议,用户可以连通MRS的业务平面与NAS服务器,将数据备份至NAS或从NAS恢复数据。 数据