检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Once、At-Most Once、Exactly Once的数据处理模式。 安全机制 提供基于Kerberos的认证以及可插拔的授权机制,提供支持SSL的Storm UI以及Log Viewer界面,同时支持与大数据平台其他组件(如ZooKeeper,HDFS等)进行安全集成。 灵活的拓扑定义及部署
huawei.bigdata.mapreduce.examples.MultiComponentExample 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境配置文件中与准备放置编译出的jar包同目录的“conf”目录下获取)的配置项“mapreduce
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法同步集群中HBase的数据到备集群,同步数据积压,导致大量主备数据不一致,使得容灾主备倒换或者双读从备集群读取不到最新的数据。如果持续不处理,还会导致主集群的存储空间以及ZooKeeper节点被大量积压,最终导致主集群服务故障。 可能原因
修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码 父主题: MRS集群安全配置
Yarn的原生界面:在集群详情页选择“组件管理 > Yarn > ResourceManager WebUI > ResourceManager (主)”。 图1 Yarn界面队列资源情况 排查任务提交失败点。 登录MRS控制台,单击集群名称进入集群详情页面。 选择“作业管理”页签,单击作业所在行“操作”列的“查看日志”。
配置Oozie节点间用户互信 操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell,需要单向免密互信时,可以参考此示例。 前提条件 已经安装Oozie,而且能与外部节点(SSH连接的节点)通信。 操作步骤 在外部节点上确保连接SSH时使用的用户存在,且该用户“~/
huawei.bigdata.mapreduce.examples.MultiComponentExample 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中与准备放置编译出的jar包同目录的“conf”目录下获取)的配置项“mapreduce
huawei.bigdata.mapreduce.examples.MultiComponentExample 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中与准备放置编译出的jar包同目录的“conf”目录下获取)的配置项“mapreduce
购买MRS集群提交订单时报无效认证如何处理? 问: 购买MRS集群,提交订单时,报无效认证,怎么办? 答: 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内,多
粒度权限管理,根据多种用户角色来区分访问OBS桶及其内部的对象的权限,实现MRS用户对OBS桶下的目录权限控制。 MRS支持企业项目管理。企业项目是一种云资源管理方式,企业管理(Enterprise Management)提供面向企业客户的云上资源管理、人员管理、权限管理、财务管
LDAP的审计日志开启后,会产生大量日志信息,严重影响集群性能,请谨慎开启。 该章节仅适用于MRS 3.x及之后版本。 配置LDAP防火墙策略 在双平面组网的集群中,由于LDAP部署在业务平面中,为保证LDAP数据安全,建议通过配置整个集群对外的防火墙策略,关闭LDAP相关端口。 登录FusionInsight
告警”页面下“告警”、“事件”的查看权限。 管理权限:“集群”、“运维”页面的管理权限。 User: 查看权限:“系统”页面下“权限”区域中内容的查看权限。 管理权限:“系统”页面下“权限”区域中内容的管理权限。 Audit : 管理权限:“审计”页面信息的管理权限。 Tenant: 查看权限:“租户资源”页面的查看权限。(MRS
情请参考访问MRS集群Manager。 已添加关联了HDFS存储资源的租户。 管理租户目录 进入租户管理页面。 通过MRS管理控制台操作:在MRS管理控制台单击待操作的集群,在集群详情页,单击“租户管理”。 通过Manager操作(MRS 3.x及之后版本集群):在Manager页面单击“租户资源”。
删除资源池前需要先清除策略,请参见清除MRS租户队列配置。 通过管理控制台管理资源池 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“资源池”页签。 在资源池列表指定资源池所在行的“操作”列,单击“修改”。
fs.namenode.rpc.port}/tmp/secure_ck.txt', 'TSV') nameservice的获取方式: 在FusionInsight Manager首页,选择“集群 > 服务 > HDFS > 管理NameService”,获取参数“NameServ
Superior调度器模式下管理MRS全局用户策略 操作场景 如果租户配置使用Superior调度器,那么系统可以控制具体用户使用资源调度器的行为,包含: 最大运行任务数 最大挂起任务数 默认队列 管理MRS全局用户策略 添加策略 在FusionInsight Manager,单击“租户资源”。
管理MRS角色实例组 MRS支持对多个实例组的管理功能,即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。 针对实例组进行的配置参数修改,将同时对组内所有的实例生效。 本操作适用于MRS 3.x及之后版本。 管理MRS角色实例组 登录MRS集群Man
检查待删除的租户是否存在子租户,如果存在,需要先删除全部子租户,否则无法删除当前租户。 待删除租户的角色,不能与任何一个用户或者用户组存在关联关系。 通过管理控制台删除租户 在集群详情页,单击“租户管理”。 在左侧租户列表,将光标移动到需要删除的租户节点上,单击“删除”。 界面显示删除租户对话框。根据业务需求,需要保
08:00:18,763 | WARN | QuorumPeer[myid=26](plain=/10.16.9.138:2181)(secure=disabled) | Exception when following the leader | org.apache.zookeeper
anager界面,详情请参考访问MRS集群Manager。 通过管理控制台管理角色实例 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。 单击服务列表中指定的服务名称。 单击“实例”页签。 勾选待操作角色实例前的复选框。