检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HBase只读模式集群允许修改数据的IP白名单 MRS 3.x及之后版本,当HBase集群开启Replication功能时,为了保护主备集群的HBase数据一致性,对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时,首先检查发出该请
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况,或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时,HDFS和ZooKeeper默认会对访问服务的用户进行鉴权,没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时,Yarn默认不会对访问用户进行鉴权,所有用户可以访问Yarn中的资源。
支付成功后,返回MRS控制台,可查看集群状态。 集群扩容过程说明如下: 扩容中:集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行,也可以提交新的作业,但不允许继续扩容和删除集群,也不建议重启集群和修改集群配置。 扩容成功:集群扩容成功后集群状态为“运行中”,计费会按照新增节点加上已有节点使用的资源计算。
Manager管理,主备集群必须已配置跨集群互信。如果主集群部署为普通模式,不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中,配置主备集群所有机器的机器名与业务IP地址的对应关系。
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
修改密码时,不允许使用最近N次使用过的密码,N=1~5,默认为“1”。仅MRS 3.x及之后版本集群支持配置该参数。 此策略只影响“人机”用户。 密码失效提前提醒天数 5 表示提醒密码失效到密码真正失效的天数,提前一段时间提醒密码即将失效。设置后,若集群时间和该用户密码失效时间的差小于该值,则说明用户进入密码失效提
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 重启集群组件步骤 进入MRS集群组件管理页面。 通过管理控制台操作:登录MRS管理控制台,单击集群名称进入集群详情页面,单击“组件管理”。 通过Manager操作(MRS
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
解。 给集群配置有OBS访问权限的委托 请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。 配置的委托对该集群上所有用户(包括内置用户)及用户组生效,如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。 配置OBS路径权限时,如果配置了写权限
配置Hive元数据存储至RDS 本章节指导用户将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除,也能够避免集群迁移时Hive元数据的迁移。 创建并配置RDS实例 登录RDS管理控制台
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。
配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
配置受信任IP访问LDAP以后,未配置的IP无法访问LDAP。扩容前,新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划,收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。 配置受信任IP地址访问LDAP 配置OMS LDAP信任的IP地址
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
本章节配置新用户的回收站目录清理策略。 针对HBase配置存算分离的场景,在MRS 3.1.2及后续版本中,需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS
MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题: MRS集群运维
登录MapReduce服务管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 选择“弹性公网IP”页签,单击“绑定弹性IP”为弹性云服务器绑定一个弹性公网IP并记录
创建云服务委托并绑定集群 为Guardian组件配置访问OBS权限 开启Hive表的级联授权功能 配置回收站清理策略 前提条件 集群已安装Guardian、Ranger、Hadoop等组件。 如果安装Hadoop、HetuEngine、Hive、Spark等组件后,再安装Guardia
配置MapReduce通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapr