检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时,HDFS和ZooKeeper默认会对访问服务的用户进行鉴权,没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时,Yarn默认不会对访问用户进行鉴权,所有用户可以访问Yarn中的资源。
客户端数量是否为1。 是,采用单独安装模式,执行8,安装结束。 否,采用批量安装模式,执行9。 在Flume客户端安装目录下执行以下命令,安装客户端到指定目录(绝对路径),例如安装到“/opt/FlumeClient”目录。客户端安装成功后单独安装结束。 cd /opt/clien
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不
添加监听器”。 在“添加监听器”界面,根据界面提示完成具体配置,下列步骤中未提及的参数保持默认即可。 配置监听器。 “前端协议”选择“TCP”,“前端端口”填写相应的访问端口号,配置完成单击“下一步:配置后端分配策略”。 配置后端分配策略。 “分配策略类型”参数选择“加权轮询算法”
在已有Hive数据的集群上外置元数据库后,之前的元数据表不会自动同步。因此在安装Hive之初就要确认好元数据是外置数据库还是内置到DBService,如果是外置自建数据库,则需在安装Hive时或者暂无Hive数据时将元数据外置,安装后不允许修改,否则将会造成原有元数据丢失。 Hive对接CSS服务
一个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有ZKFC进程。 HDFS NameNode的ZKFC连接到ZooKeeper,把主机名等
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。
HetuEngine的Ranger权限控制中包含了function的权限控制。当独立部署Hive数据源集群的视图所有者在本集群没有同名用户时,在Ranger中配置function权限将无法为对应用户赋权。可参考添加HetuEngine的Ranger访问权限策略章节通过如下方案为用户添加相关权限解决:
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。 如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。 查看MRS集群基本信息
支持MySQL协议的客户端通过FE与Doris集群建立连接,为了防止单点故障通常需要部署多个FE节点,并在多个FE上部署负载均衡来实现Doris的高可用。 根据不同业务的使用场景,可以选择如下的方式配置Doris高可用功能: 业务侧代码实现 SDK ELB负载均衡 业务侧代码实现 在
是,客户端会自动在当前节点上安装部署。 否,客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。 客户端部署路径 /opt/testclient “自动部署到节点”选择“是”时,需要配置该参数。如果仅下载配置文件,则无该参数。 远端节点上部署路径若已存在,该路径下不能包含任何文件。若不存
升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法,防止被他人利用攻击。 更改
ClickHouse集群业务规划 集群规模 建议单集群不超过256节点规模。 集群负载 对于不同业务负载的业务,需要分开集群部署,便于不同负载的业务进行资源隔离。 集群并发 由于ClickHouse单个SQL会最大化使用每个主机上的CPU/内存/IO资源,对于复杂SQL查询(复杂
Kerberos1 部署在Manager中的KrbServer(管理平面)服务,即OMS Kerberos Kerberos2 部署在集群中的KrbServer(业务平面)服务 LDAP1 部署在Manager中的LdapServer(管理平面)服务,即OMS LDAP LDAP2 部署在集群
业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署,专属区内物理资源隔离,用户可以在
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 通
x及之后版本。 配置LDAP防火墙策略 在双平面组网的集群中,由于LDAP部署在业务平面中,为保证LDAP数据安全,建议通过配置整个集群对外的防火墙策略,关闭LDAP相关端口。 登录FusionInsight Manager。 选择“集群 > 服务 > LdapServer > 配置”。
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修