检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。
xxx 安全组 安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 自动创建 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 绑定一个弹性公网IP。
ALM-16005 Hive服务进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive堆内存使用率,并把实际的Hive堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 >告警 > 阈值设置 > 待操作集群的名称
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore
Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作,Connection是线程安全的,因此,多个客户端线程可以共享一个Connection。
Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作,Connection是线程安全的,因此,多个客户端线程可以共享一个Connection。
Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作,Connection是线程安全的,因此,多个客户端线程可以共享一个Connection。
节点组升级规格为“c6.2xlarge.4(8vCPUs,32GB)”,计费时长为1小时,费用计算如下: 包年/包月计费 在2023/03/20 11:00:00 ~ 2023/04/20 23:59:59期间为包年/包月计费,计费时长为1个月,费用计算如下: 由此可见,在3~4月份,该云服务器总共产生的费用为
具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套,出现Timeout waiting for task异常导致Shuffle FetchFailed,Stage一直重试
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套,出现Timeout waiting for task异常导致Shuffle FetchFailed,Stage一直重试
问:如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群?
原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器,云硬盘)组成。如需了解每种计费项的计费因子、计费公式等详细信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
主机 一个弹性云服务器,可以运行Linux系统。 例如Host1~Host5。 机架 一组包含使用相同交换机的多个主机集合的物理实体。 例如Rack1,包含Host1~Host5。 集群 由多台主机组成的可以提供多种服务的逻辑实体。
通过Ranger为MRS集群内用户绑定LakeFormation角色 LakeFormation与MRS集群对接后,可以在Ranger WebUI界面为MRS集群内的用户或用户组绑定LakeFormation角色,则绑定的用户或用户组拥有该角色的权限。 前提条件 已创建角色,并为该角色添加权限
数据可靠性 MRS可以利用弹性云服务器ECS提供的反亲和节点组能力,结合Hadoop的机架感知能力,将数据冗余到多个物理宿主机上,避免物理硬件的失效造成数据的失效。 父主题: 产品功能
技术支持 MRS服务是租户完全可控的半托管云服务,为用户提供一站式企业级大数据平台,用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机
例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
其中Process_IP是指进程所在服务器节点的IP地址,Process_Port是指进程的监听端口,Path为进程的具体路径。