检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移过程中,需要访问DataNode读取具体文件数据。 ZooKeeper clientPort 2181 ZooKeeper客户端连接ZooKeeper服务器。 Kerberos kdc_ports 21732 Kerberos服务认证,非Kerberos集群不涉及。 Hive hive.metastore
“-Xmx”近似相等,从而避免每次GC后调整堆的大小,引起性能下降。 “-Xmx”与“XX:MaxPermSize”之和不能大于该节点服务器的实际物理内存值。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行4。 在Doris服务重启期间服务不可用,不能
服务角色在主机节点上运行的具体实例。 例如运行在Host2上的KerberosAdmin,运行在Host3上的KerberosServer。 主机 一个弹性云服务器,可以运行Linux系统。 例如Host1~Host5。 机架 一组包含使用相同交换机的多个主机集合的物理实体。 例如Rack1,包含Host1~Host5。
击。 所以在普通模式下,建议单用户场景下使用,必须通过严格限定网络访问权限来保障集群的安全。 尽量将业务应用程序部署在同VPC和子网下的ECS中,避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则,禁止对MRS集群的入方向端口配置允许Any或0.0.0.0的访问规则。
Spark Streaming任务提交问题 问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka,报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1:Spark提交任务默认不会加载kafka的相关包,所以需
快速购买MRS集群 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 本章节以HBase查询集群为例介绍如何快速购买一个MRS集群。HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值,直接联系网络管理员,提升网口速率。
Core节点是存放集群业务数据的节点,在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点,即完成各个组件的退服之后,才会执行缩容的后续操作(节点退出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装
对于开启了Kerberos认证的集群(安全模式),集群之间需要配置系统互信。 每个集群的两个安全组,需分别添加对端集群的两个安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 启用MRS集群间拷贝功能 登录其中一个集群的Manager界面。 MRS 2.x及之前版本,选择“服务管理
ardinality_max_dictionary_size参数控制,默认8192)。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 占用服务器资源,ClickHouse服务的性能下降。 数据不一致。 可能原因 数据量过大,导致mutation任务执行缓慢或者mutation任务执行卡住。
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系网络管理员,提升网口速率。
告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/f
“-Xmx”近似相等,从而避免每次GC后调整堆的大小,从而引起性能下降。 同时,并且“-Xmx”与“XX:MaxPermSize”之和不得大于该节点服务器的实际物理内存值。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 服务或实例重启过程中,Loader不再对
“设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
“设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
MRS 2.1.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.1.1 发布时间 2023-07-28 新特性和优化 支持运维巡检 支持租户面直接对接CES 补丁兼容关系 MRS 2.1.1.1补丁包中包含MRS 2.1.1版本已发布的所有补丁内容。 安装补丁的影响
MRS 3.2.0-LTS.1补丁说明 MRS 3.2.0-LTS.1.7补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题
购买专属云MRS集群 本章节为您介绍如何在您的专属资源上创建一个MRS集群。 如果您希望MRS服务运行在隔离的专属区域,请您先申请专属计算集群,再创建专属云MRS集群。 了解和申请专属计算集群,请参见《专属计算集群用户指南》。 如果您希望MRS服务拥有独享的存储设备,请您在开通专
all后生产了HIVE_UNION_DIR目录,后面再使用concatenate语句对分区执行小文件合并时必现数据丢失的问题 解决更改集群ntp服务器失败的问题 解决未配置ntp时钟源ip地址的问题 解决Kudu 45476告警资料跟告警无法对应的问题 解决Kudu英文资料存在huawei字样的问题