检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请
Hadoop压力测试工具如何获取? 问: Hadoop压力测试工具如何获取? 答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench。 父主题: 性能优化类
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时,Beeline/JDBCServer模式下连续运行10T的TPCDS测试套,会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时,Beeline/JDBCServer模式下连续运行10T的TPCDS测试套,会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
同步MRS集群节点磁盘信息 当云硬盘实际信息与控制台展示的云硬盘信息不一致,或者节点列表展示的云硬盘信息显示“数据盘: --(请同步磁盘信息)”,需要同步最新云硬盘时,可以使用同步磁盘信息功能。 同步磁盘信息用于检查集群云磁盘最新信息并进行更新,使控制台展示的云硬盘信息与实际最新云硬盘信息保持一致。
登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 单击“节点管理”,在对应的ClickHouse节点组下,单击要扩容的节点名称,进入到“云硬盘”界面。 在对应的数据盘单击“扩容”,进入到扩容磁盘界面。 如果当前界面只能看到系统盘,没有数据盘则表示当前ClickHouse节点数据盘暂不支持通过该操作进行扩容。
弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘) 计费因子:云硬盘类型、容量。 购买云硬盘成功后,将立即开始计费,计费与其是否被使用无关。 包年/包月、按需计费 云硬盘的大小 * 云硬盘单价 * 购买数量 * 购买时长 云硬盘单价请参见云硬盘价格计算器。
MRS集群管理服务费仍旧正常计费,如需停止计费请删除相应集群。 弹性云服务器的关机计费规则请参见弹性云服务器计费说明。 云硬盘的关机计费规则请参见云硬盘计费说明。 父主题: 计费模式
新Hash聚合功能,默认对数据调用外部排序进行排序,然后再进行聚合,因此内存不足时在排序阶段会将数据溢出到磁盘,在聚合阶段因数据有序,在内存中只保留当前key的聚合结果,使用的内存较小。 SortMergeJoin、SortMergeOuterJoin 基于有序数据的等值连接。该功能默认对数据调用外部排序
MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
MRS服务管理费用:核个数 * 节点个数 * 核规格单价 * 购买时长 弹性云服务器:节点个数 * 弹性云服务器单价 * 购买时长 云硬盘(系统盘和数据盘):云硬盘的大小 * 云硬盘单价 * 购买数量 * 购买时长 本例中,在第一个计费周期内MRS普通版集群的使用量为1316秒,单价可在MRS价格计算器中查询。
”即可进行续费。 图1 续费MRS集群 统一包年/包月资源的到期日 如果您持有多个到期日不同的MRS集群,或者您的MRS集群和其上挂载的云硬盘到期日不同,可以将到期日统一设置到一个日期,便于日常管理和续费。 图2展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。
数据盘最大扩容至32T。 本地盘不支持扩容。 系统盘不支持扩容。 仅支持集群节点创建时默认挂载的数据盘完整扩容云硬盘(EVS)容量、磁盘分区和文件系统。 云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。 数据盘扩容(一键扩容) 当集群版本为MRS 3
的能力。 虚拟私有云(VPC)为每个租户提供的虚拟内部网络,默认与其他网络隔离。 云硬盘(EVS)提供高可靠、高性能的存储。 弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。 数据采集 数据采集层提供了数
按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计费模式会同时变更集群弹性云服务器所挂载云硬盘的计费模式。 按需非共享云硬盘不支持单独变更为包年/包月,需跟随弹性云服务器一起变更为包年/包月,变更后到期时间与云服务器一致。
单击“连接”后的下拉列表框,选择待编辑的连接名称。 在“连接”后单击“编辑”,进入编辑页面。 根据业务需要,修改连接配置参数。 单击“测试”。 如果显示测试成功,则执行6。 如果显示测试失败,则需要重复4。 单击“保存”。 如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.F
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.F
Hive基于MapReduce提交任务和基于Tez提交任务流程图 Hive on MapReduce任务中包含多个MapReduce任务,每个任务都会将中间结果存储到HDFS上——前一个步骤中的reducer为下一个步骤中的mapper提供数据。Hive on Tez任务仅在一个任务中就能完成同样
关于更多磁盘加密详情请参考云硬盘加密。 开启系统盘加密时,需配置以下参数: 系统盘密钥ID:已选择的密钥名称对应的密钥ID信息。 系统盘密钥名称:选择用来加密系统盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。 使用用户主密钥加密云硬盘,若对