检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据实际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台,在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,“实例规格类型”选择“共享型”,“
Kafka开发指南(安全模式) Kafka应用开发简介 Kafka应用开发流程介绍 Kafka样例工程介绍 准备Kafka应用开发环境 开发Kafka应用 调测Kafka应用 Kafka应用开发常见问题
计费模式概述 MRS当前支持包年/包月和按需计费模式,以满足不同场景下的用户需求。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月
可自动负载均衡,实现并发度水平扩展。 须知: 配置多个计算实例时: 需确保集群资源充足。单租户多实例需要的资源为单实例资源*实例个数(每个计算实例的规格一致,不支持差异化配置)。 需使用短连接方式,并以HSFabric模式连接HetuEngine,该模式支持更优的负载均衡调度能力。
/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令认证hdfs身份。 kinit hdfs 是否调整带宽控制?
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,如图1所示,第一个应用是使用yarn-client模式提交的,正确显示代码里设置的应用名Spark P
true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true 说明: 该参数修改后需要重新下载客户端。 spark.thriftserver.proxy.enabled 是否使用多租户模式。 false表示使用多实例模式。 true表示使用多租户模式。
true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true 说明: 该参数修改后需要重新下载客户端。 spark.thriftserver.proxy.enabled 是否使用多租户模式。 false表示使用多实例模式 true表示使用多租户模式
计费模式 计费模式概述 包年/包月 按需计费
支持变更计费模式的MRS计费项 计费项 变更说明 相关文档 MRS服务管理费用 变更MRS集群的计费模式会同时变更MRS服务管理的计费模式。 按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计费模式会同时变
Kerberos1访问LDAP数据:以负载均衡方式访问主备LDAP1两个实例和双备LDAP2两个实例。只能在主LDAP1主实例上进行数据的写操作,可以在LDAP1或者LDAP2上进行数据的读操作。 Kerberos2访问LDAP数据:读操作可以访问LDAP1和LDAP2,数据的写操作只能在主LDAP1实例进行。
ResourceManager持续主备倒换 问题 RM(ResourceManager)在多个任务(比如2000个任务)正常并发运行时出现持续的主备倒换,导致YARN服务不可用。 回答 产生上述问题的原因是,full GC(GabageCollection)时间过长,超出了RM与
IoTDB应用开发建议 推荐使用原生接口Session,避免SQL拼接 关于IoTDB Session接口样例,安全模式集群可参考IoTDB Session程序章节,普通模式集群可参考IoTDB Session程序章节。 根据业务情况推荐优先使用性能高的写入接口 写入接口性能由高到低排序如下:
查看MRS集群主备管理节点 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager(仅适用于MRS 3.x及之后版本)确认集群的主备管理节点(即主备OMS节点)。 在主备模式下,由于Master1和Master2之间会进行主备切换,Master1节点不一定是主管理节点。
脚本运行过程中会重启controller服务,同步Yarn的配置,并重启主备ResourceManager实例。 重启controller服务时,无法登录和操作FusionInsight Manager。 重启主备ResourceManager实例后,Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器,旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS
变更计费模式 变更计费模式概述 按需转包年/包月
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HA证书即将过期,如果过期,主备模式下FlinkServer的HA功能会受到影响,将导致主备模式下FlinkServer提交Flink作业功能无法正常使用,双主模式不受影响。 可能原因 用户HA证书文件即将到期。 处理步骤 查看告警信息。
ResourceManager持续主备倒换 问题 RM(ResourceManager)在多个任务(比如2000个任务)正常并发运行时出现持续的主备倒换,导致YARN服务不可用。 回答 产生上述问题的原因是,full GC(GabageCollection)时间过长,超出了RM与