检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”,“委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务。 “持续时间”选择“永久”并单击“下一步”。 图4 创建委托 在弹出授权页面的搜索框内,搜索“OBS
Location,默认存储在OBS上。 Ranger权限配置 集群已启用Kerberos认证(安全模式)的HetuEngine在存算分离场景和非存算分离场景下不区分Ranger赋权方式,详细操作请参见添加HetuEngine的Ranger访问权限策略。 父主题: MRS集群服务对接OBS示例
配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive
BS文件系统内的用户回收站目录中,本章节用于指导用户设置OBS文件系统内回收站目录的生命周期策略,以定时自动清理相关数据。 配置集群使用存算分离方案后,必须参考本章节内容配置相关目录的生命周期策略,否则会有存储空间被占满以及增加存储资源费用的风险,关于OBS更多计费说明请参考OBS计费概述。
配置Mapreduce通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,MapReduce服务还需参考本章节新增自定义配置。 Mapreduce对接OBS 登录FusionInsight Manager,选择“集群 > 服务 >
sight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。 查看FusionInsight Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系网络管理员恢复网络连接,然后检查告警是否恢复。
HetuEngine_Client.tar”获取jdbc驱动包,并上传到Linux环境“/opt/client”目录下。 jdbc驱动包可在集群客户端软件包解压路径“FusionInsight_Cluster_1_Services_ClientConfig\HetuEngine\XXX\”路径下获取“hetu-jdbc-*
问题 为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安
blocksize后上传数据,block大小未改变 问题背景与现象 界面配置“dfs.blocksize”,将其设置为268435456,上传数据,block大小还是原来的大小。 原因分析 HDFS客户端的“hdfs-site.xml”文件中的dfs.blocksize大小没有更改,以客户端配置为准。 解决办法
析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。 收集集群节点服务器的操作系统日志,并进行分析。 收集集群日志,并进行分析。 诊断网络 对集群的网络健康状态进行分析。 管理硬件 检查设备运行的机房环境,安排清洁设备。 父主题: MRS集群运维
ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager,选择“集群 > 服务 >
krb5,观察是否有krb5-workstation-1.10.3-33.el6.x86_64。 处理步骤 执行以下命令卸载“krb5-workstation”软件和依赖的软件: rpm -e krb5-workstation-1.10.3-33.el6.x86_64 在Kerberos服务节点上使用kill
ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/fstab”文件中是否包含
调整Yarn资源分配 HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
StateStore 负责检查Impala的所有进程健康状态管理进程,进程名为statestored,当有Impalad的进程因硬件失败、网络错误、软件原因或者其他原因下线时,StateStore负责通知到其他的Impalad进程,避免请求分发到不可用的节点上。 Impala Catalog