检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何设置Spark作业执行时自动获取更多资源？ 问 如何设置Spark作业执行时自动获取更多资源？ 答 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分
修改MRS集群Manager路由表对系统的影响 禁用Manager创建的路由信息后，在设置新的路由信息之前，FusionInsight Manager页面无法登录，集群运行不受影响。 修改MRS集群Manager路由表前提条件 已获取待创建路由的相关信息。 禁用系统创建的路由信息步骤 以om
定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。 客户价值 MRS的自动弹性伸缩可以帮助用户实现以下价值。
resourcemanager.recovery.enabled 设置是否让ResourceManager在启动后恢复状态。如果设置为true，那yarn.resourcemanager.store.class也必须设置。 true yarn.resourcemanager.store
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中，ApplicationMaster在创建Container时，分配的内存会根据任务总数的浮动自动调整，资源利用更加灵活，提高了客户端应用运行的容错性。 配置描述 参数入口： 参考修
批量资源开通自动续费：选择需要开通自动续费的MRS集群，单击列表左上角的“开通自动续费”。 图2 多个资源开通自动续费 选择续费时长，并根据需要设置自动续费次数，单击“开通”。 在“续费管理”页面开通的自动续费，自动续费周期以实际选择的续费时长以及自动续费次数为准。 例如：您选择了
查看HetuEngine物化视图自动化任务 本章节指导用户在HSConsole页面查看HetuEngine自动化任务的任务状态和任务执行结果等信息。用户可定期查看任务执行情况，帮助评估集群运行健康状况。 查看HetuEngine物化视图自动化任务步骤 使用用于访问HetuEngine
次数。增加重试次数可以避免当资源不足时造成AM启动失败。 适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数，但这个次数不能大于全局的最大次数。如果大于了，那ResourceManager将会覆
配置AM自动调整分配内存 配置场景 启动该配置的过程中，ApplicationMaster在创建container时，分配的内存会根据任务总数的浮动自动调整，资源利用更加灵活，提高了客户端应用运行的容错性。 配置描述 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称
次数。增加重试次数可以避免当资源不足时造成AM启动失败。 适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数，但这个次数不能大于全局的最大次数。如果大于了，那ResourceManager将会覆
配置Spark小文件自动合并 配置场景 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下。
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下：
是否开启批量加载数据复制功能。参数值类型为Boolean。开启批量加载数据复制功能后该参数须在主集群中设置为true。 false hbase.replication.cluster.id 源HBase集群ID。开启批量加载数据复制功能时必须设置该参数，在源集群定义。参数值类型为String。 - 使用ReplicationSyncUp工具
是否开启批量加载数据复制功能。参数值类型为Boolean。开启批量加载数据复制功能后该参数须在主集群中设置为“true”。 false hbase.replication.cluster.id 源HBase集群ID。开启批量加载数据复制功能必须设置该参数，在源集群定义，参数值类型为String。 - 使用ReplicationSyncUp工具
式，无法自动恢复。 HDFS提供以下配置参数可以解决集群掉电无法自动恢复的问题，用户需要根据业务实际情况进行调整。 “dfs.datanode.synconclose”参数设置为“true”时，系统会等待操作系统缓存数据写入磁盘后才认为该次写入完成，此时不会发生掉电造成数据丢失的
配置Hive目录旧数据自动移除至回收站 开启Hive目录旧数据自动移除至回收站功能，执行写目录insert overwrite directory "/path1" ...命令成功之后，会将旧数据移除到回收站，并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 操作步骤
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
