检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
配置集群节点信息。 Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。
以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 如果当前故障节点为主管理节点,当登录主管理节点时无法登录,则说明可能为主管理节点网络故障,请执行4。 执行ping
修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码 父主题: MRS集群安全配置
获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接HBase集群配置文件。
已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端(MRS 3
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对MRS服务,管理员能够控制IAM用户仅能对集群进行指定的管理操作。如不允许某用户组删除集群,仅允许操作MRS集群基本操作,如创建集群、查询集群列表等。多数细粒度策略以API接口
omm用户过期,Manager各节点互信不可用,无法对服务提供管理功能。 可能原因 omm用户过期。 处理步骤 检查系统中omm用户是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l omm命令来查看当前omm用户密码设置信息。
omm密码过期,Manager各节点互信不可用,无法对服务提供管理功能,crontab计划任务无法执行,影响ClickHouse业务。 可能原因 omm密码过期。 处理步骤 检查系统中omm密码是否过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l om
ALM-45596 Procedure执行失败 告警解释 Procedure是由ConfigNode Leader管理执行的任务,如果有Procedure执行失败,则会产生此告警。如果同一个Procedure重新执行成功,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45596
配置集群节点信息。 Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。
MRS Hive对接外部LDAP配置说明 应用场景 本章节介绍Hive如何对接外部LDAP并访问HiveServer。 为了管理集群中数据与资源的访问控制权限,在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。 MRS通过KrbServe
x及之前版本时: 选择“节点管理”,在待退订节点组对应的“操作”列单击“隔离节点”。 选择需要退订的节点并单击“确定”对节点进行隔离。 隔离节点过程的时长取决于节点中数据量,数据量越大则时间越长,请耐心等待。 节点隔离成功后,节点状态显示为“已隔离”。在“节点管理”页面出现“退订节点”按钮。
迁移Hive数据 登录CDM管理控制台。 创建CDM集群,该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致,保证CDM集群和MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签,单击“新建连接”。 参考
“良好”。 是,执行1.c。 否,执行3。 等待5分钟后,在“告警管理”页面,查看本告警是否恢复。 是,处理完毕。 否,执行2.a。 处理NameService服务异常告警。 登录MRS集群详情页面,在“告警管理”页面查看所有NameService服务是否存在异常告警。 是,执行2
创建FlinkServer数据连接步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成
支持定制传输前后准备工作。Flume支持定制脚本,指定在传输前或者传输后执行指定的脚本,用于执行准备工作。 管理客户端告警。Flume通过MonitorServer接收Flume客户端告警,并上报Manager告警管理中心。 父主题: Flume
运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置
Manager页面,选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。 如仅需更新客户端配置文件,请参考更新客户端(3.x之前版本)页面的方法二操作。 使用IP地址搜索主管理节点并使用VNC登录主管理节点。 在主管理节点,执行以下命令切换用户。 sudo su - omm 在MRS管理控制台