检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强
配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。
根据实际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台,在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,“实例规格类型”选择“共享型”,“
自定义”,对参数文件“hivemetastore-site.xml”添加自定义参数,设置“名称”为“hive.mapreduce.per.task.max.splits”,“值”为具体设定值,一般尽量设置大。 单击“保存”保存配置。单击“实例”,勾选所有Hive实例,选择“更多 >
自定义”,对参数文件“hivemetastore-site.xml”添加自定义参数,设置“名称”为“hive.mapreduce.per.task.max.splits”,“值”为具体设定值,一般尽量设置大,修改后重启所有Hive实例。 父主题: Hive负载均衡
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。 已安装Kafka客户端。
Spark2x > 实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启实例。 父主题: Hive负载均衡
以对用户hiveuser设置租约隔离为例,选取Hive当前已有的或者新添加一个或者多个实例,此处选择已有的HiveServer实例: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”。 在Hive实例列表中选择需要设置租约隔离的HiveServer,选择“实例配置
zookeeper.namespace”设置的具体设定值。 结果将只会登录到被设置租约隔离的HiveServer。 开启本功能后,必须在登录时使用以上命令才可以访问这个被设置租约隔离的HiveServer。如果直接使用beeline命令登录客户端,将只会访问其他没有被设置租约隔离的HiveServer。
ons.html。 ELB负载均衡 基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台Doris后端节点发生故障时,ELB通过故障转移方式正常对外提供服务,详细操作请参见配置通过ELB访问Doris集群。
balancer.auto.enable设置为true时才有效。 10 dfs.balancer.auto.exclude.datanodes 不需要执行磁盘自动均衡的DataNode列表,用逗号分隔。仅当dfs.balancer.auto.enable设置为true时才有效。 默认为空 dfs
的实际磁盘条件设置。 10 dfs.disk.balancer.max.disk.errors 设置能够容忍的在指定的移动过程中出现的最大错误次数,超过此阈值则移动失败。 5 dfs.disk.balancer.block.tolerance.percent 设置磁盘之间进行数据
根据实际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台,在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,“实例规格类型”选择“共享型”,“
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
单击“立即购买”,确认配置信息,并单击“提交”。 创建完成后,在“负载均衡器”界面,选择对应的区域即可看到新建的负载均衡器。查看并获取该负载均衡器的公网IP地址。 添加ELB监听器 详细操作步骤请参考添加监听器。 在“负载均衡器”界面,单击需要添加监听器的负载均衡名称。 选择“监听器 > 添加监听器”。
高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束: HBase双读特性基于Re
高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束: HBase双读特性基于Re
否,执行9。 在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。 balance_switch true balancer_enabled 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是,处理完毕。
balancer.auto.enable设置为true时才有效。 10 dfs.balancer.auto.exclude.datanodes 不需要执行磁盘自动均衡的DataNode列表,用逗号分隔。仅当dfs.balancer.auto.enable设置为true时才有效。 默认为空 dfs