检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致MRS集群被自动删除。自动续费的规则如下所述: 以MRS集群的到期日计算第一次自动续费日期和计费周期。 MRS集群自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在MRS集群到期前均可开通自动续费,
定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负载的变化,免去了人工操作。同时,自动化脚本给用户实现个性需求提供了途径,完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。 客户价值 MRS的自动弹性伸缩可以帮助用户实现以下价值。
获取“默认生效子网”和待切换子网对应的IPv4网段。 此时请勿单击切换子网的“确定”按钮,否则默认生效子网将更新为切换后的子网,切换前的子网不易查询,请谨慎操作。 参考5~8添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 登录MRS控制台。
式,无法自动恢复。 HDFS提供以下配置参数可以解决集群掉电无法自动恢复的问题,用户需要根据业务实际情况进行调整。 “dfs.datanode.synconclose”参数设置为“true”时,系统会等待操作系统缓存数据写入磁盘后才认为该次写入完成,此时不会发生掉电造成数据丢失的
如何设置Spark作业执行时自动获取更多资源? 问 如何设置Spark作业执行时自动获取更多资源? 答 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),如果分配给它多个Executor,可是却没有任何任务分
配置AM作业自动保留 配置场景 在YARN中,ApplicationMaster(AM)与Container类似,都运行在NodeManager(NM)上(本文中忽略未管理的AM)。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行,ResourceManager(RM)会关
配置Spark小文件自动合并 配置场景 小文件自动合并特性开启后,Spark将数据先写入临时目录,再去检测每个分区的平均文件大小是否小于16MB(默认值)。如果发现平均文件大小小于16MB,则认为分区下有小文件,Spark会启动一个Job合并这些小文件,并将合并后的大文件写入到最终的表目录下。
在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。 “私有IP地址”选择“现在创建”,填写1中查询对应节点的IP。 切换成功后,单击节点名称,需要在节点的“弹性网卡”中重启“源/目的检查”。
配置AM作业自动保留 本章节适用于MRS 3.x及后续版本集群。 配置场景 在YARN中,ApplicationMaster(AM)与Container类似,都运行在NodeManager(NM)上(本文中忽略未管理的AM)。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时,ZooKeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如
配置AM自动调整分配内存 配置场景 启动该配置的过程中,ApplicationMaster在创建container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时,Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 对系统的影响 切换业务后,写入备集群的数据默
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下。
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
查看HetuEngine物化视图自动化任务 本章节指导用户在HSConsole页面查看HetuEngine自动化任务的任务状态和任务执行结果等信息。用户可定期查看任务执行情况,帮助评估集群运行健康状况。 查看HetuEngine物化视图自动化任务步骤 使用用于访问HetuEngine