检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入购买MRS集群页面。 选择“快速购买”,填写软件配置参数,以“按需计费”为例。 表1 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 计费模式 选择待创建的MRS集群的计费模式。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近
RPC处理平均时间”,单击“default”规则所在行的“操作”列的“修改”,将“紧急”或“重要”告警级别对应的“阈值”修改为告警出现后1天内监控值的峰值的150%,并单击“确定”保存。 等待5分钟,查看该告警是否自动清除。 是,处理完毕。 否,执行6。 查看Guardian TokenServer内存设置是否过小。
sql_digest varchar(48) SQL摘要,非慢查询时为空。 peak_memory_bytes bigint 所有BE节点使用的内存峰值,单位为字节。 stmt string 具体执行的SQL语句信息。 reserve1 string 保留字段1。 reserve2 string
配置集群使用存算分离方案后,必须参考本章节内容配置相关目录的生命周期策略,否则会有存储空间被占满以及增加存储资源费用的风险,关于OBS更多计费说明请参考OBS计费概述。 由于回收站目录是以用户维度进行创建,当MRS集群内新创建了用户且该用户具备组件数据的删除权限时,也需要参考本章节配置新用户的回收站目录清理策略。
RPC队列平均时间”,单击“default”规则所在行的“操作”列的“修改”,修改“紧急”或“重要”告警级别对应的“阈值”为告警出现后1天内监控值的峰值的150%,单击“确定”保存。 等待5分钟,查看该告警是否自动清除。 是,处理完毕。 否,执行6。 查看Guardian TokenServer内存设置是否过小。
进入购买MRS集群页面。 选择“自定义购买”。 参见表1配置集群信息。 表1 基础配置和集群配置 参数名称 参数说明 取值样例 计费模式 选择待创建的MRS集群的计费模式。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
运营管理 MRS的计费简单、易于预测,并在控制台购买界面中提供价格计算器功能帮助您计算好了整个MRS集群的价格,您可一键完成整个配置的购买。已经购买的集群提供标签管理、审计管理等功能帮助您更好的进行集群管理。 集群生命周期管理 集群计费 MRS(MapReduce服务)的计费简单、易于预
Task每秒钟读取的数据量 Elapsed Task执行时长 CPU Time Task使用的CPU时间 Mem Task内存 Peak Mem Task峰值内存 单击“Host”的链接,可以查看每个节点task资源占用情况。 图5 Task节点资源占用情况 表5 节点资源监控指标 指标名称 含义
展示安全授权状态,可关闭和开启安全授权。关闭安全授权属于高危操作,请谨慎处理。详细信息请参考配置MRS集群安全通信授权。 表4 MRS集群计费信息 参数 参数说明 付费类型 显示创建集群时的付费类型,目前支持“按需计费”和“包年/包月”。 最近交易订单 显示购买集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。
弹性伸缩规则与资源计划均可触发弹性伸缩,两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变化对资源分配或业务逻辑进行更改时,手动扩缩容的场景需要用户登录集群节点进行操作
集群基本信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群状态信息。 付费类型 显示创建集群时的付费类型,目前支持“按需计费”和“包年/包月”。 集群版本 集群的版本信息。 集群类型 创建集群时的集群类型。 集群ID 集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。
通过JDBC访问SparkSQL 通过Manager接口管理用户 02 购买 您可以灵活选择MRS服务的计费模式、配置项,针对不同的应用场景,选择不同规格的集群和节点。 价格说明 MRS计费说明 价格详情 购买集群 自定义购买MRS集群 快速购买MRS集群 04 使用 根据业务发展需要,
单击“购买集群”,进入“购买集群”页面。 在购买集群页面,选择“自定义购买”页签。 在“自定义购买”页签,配置以下参数。 基础配置: 计费模式:选择“按需计费”。 区域:请根据需要选择区域。 集群配置: 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。
HDFS”,找到“主NameNode RPC处理平均时间”,单击default规则中“操作”栏中的“修改”,修改“阈值”为告警出现前后1天内监控值的峰值的150%。单击“确定”,保存新阈值。 图2 修改阈值 等待5分钟,查看该告警是否自动消除。 是,处理结束。 否,执行8 查看NameNode节点的CPU性能是否不足。
云数据库(Relational Database Service) 云数据库(RDS)用于存储MRS系统运行数据,包括MRS集群元数据和用户计费信息等。 配置数据连接 统一身份认证服务(Identity and Access Management) 统一身份认证服务(IAM)为MRS提供了鉴权功能。
选择“快速购买”,填写软件配置参数。 表3 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 计费模式 选择待创建的MRS集群的计费模式。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
包周期集群不允许克隆集群作业 普通集群支持克隆作业,安全集群不支持克隆作业 集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组(默认共用克隆集群的)、节点组配置、Kerberos
配置集群使用存算分离方案后,必须参考本章节内容配置相关目录的生命周期策略,否则会有存储空间被占满以及增加存储资源费用的风险,关于OBS更多计费说明请参考OBS计费概述。 表1 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。
ClickHouse 查询返回结果的行数阈值。 建议配置值:100000 select * from table running_0002 SQL的占用内存峰值超绝对值限制。 Hive Spark HetuEngine ClickHouse SQL运行占用内容阈值,单位为MB。 N/A running_0003
线在平均值处峰值高低的特征数,即是描述总体中所有取值分布形态陡缓程度的统计量。直观看来,峰度反映了峰部的尖度。这个统计量需要与正态分布相比较。 定义上峰度是样本的标准四阶中心矩(standardized 4th central moment)。 随机变量的峰度计算方法为随机变量的四阶中心矩与方差平方的比值。