检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用成功率小于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。 在FusionInsight
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据写操作接口调用成功率小于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。 在FusionInsight
针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型 规格命名规则 AB.C.D
按需计费MRS集群属于简单定价,相应单价查询请参见: MRS服务管理费单价可在MRS价格计算器页查询。 弹性云服务器单价请可在弹性云服务器价格计算器页查询。 云硬盘(系统盘和数据盘)可在云硬盘价格计算器页查询。 使用量 按产品单价单位显示使用量。 使用量单位 小时 官网价 官网价: MRS服务管理费用:核个数
Web页面无法直接连接? 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。
allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager.web.allow-access-address:
不同版本计费差异 普通版和LTS版由于功能不一致,计费存在一定差异,详情请查看计费说明,您也可以通过MRS提供的价格计算器,选择您需要的集群版本、节点规格,快速计算出购买MRS集群的参考价格。
不同版本计费差异 普通版和LTS版由于功能不一致,计费存在一定差异,详情请查看计费说明,您也可以通过MRS提供的价格计算器,选择您需要的集群版本、节点规格,快速计算出购买MRS集群的参考价格。 父主题: 发行版本
allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager.web.allow-access-address:
allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager.web.allow-access-address:
allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager.web.allow-access-address:
计费类 创建MRS集群时计价器为什么未显示价格? MRS集群中的弹性伸缩功能如何收费? MRS集群的Task节点如何收费? 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。
有类型的RDD操作(比如map、filter、flatMap)。 支持基于Event Time的聚合计算,支持对迟到数据的处理。 支持对流式数据的去除重复数据操作。 支持状态计算。 支持对流处理任务的监控。 支持批流join,流流join。 当前JOIN操作支持列表如下: 左表 右表
有类型的RDD操作(比如map、filter、flatMap)。 支持基于Event Time的聚合计算,支持对迟到数据的处理。 支持对流式数据的去除重复数据操作。 支持状态计算。 支持对流处理任务的监控。 支持批流join,流流join。 当前JOIN操作支持列表如下: 左表 右表
有类型的RDD操作(比如map、filter、flatMap)。 支持基于Event Time的聚合计算,支持对迟到数据的处理。 支持对流式数据的去除重复数据操作。 支持状态计算。 支持对流处理任务的监控。 支持批流join,流流join。 当前JOIN操作支持列表如下: 左表 右表
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。
Spark任务需要调整executor的overhead内存,设置了参数spark.yarn.executor.memoryOverhead=4096,但实际计算的时候依旧按照默认值1024申请资源。 原因分析 从Spark 2.3版本开始,推荐使用新参数spark.executor.memoryO
Spark:基于内存进行计算的分布式计算框架,MRS支持提交SparkSubmit、Spark Script和Spark SQL作业。 SparkSubmit:提交Spark Jar和Spark Python程序,运行Spark Application计算和处理用户数据。 Spa
针对所有参与Join的表,依次选取一个表作为第一张表。 依据选取的第一张表,根据代价选择第二张表,第三张表。由此可以得到多个不同的执行计划。 计算出代价最小的一个计划,作为最终的顺序优化结果。 代价的具体计算方法: 当前版本,代价的衡量基于Join出来的数据条数:Join出来的条数越少,代价越小。Join条数的多少