检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS租户管理中的动态资源计划页面无法刷新怎么办？ 问： MRS租户管理中的动态资源计划页面无法刷新怎么办？ 答： 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table denza_hudi_sink ( $HU
SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。 操作步骤 要使用CBO优化，可以按照以下步骤进行优化。
资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔，例如1小时左右生成一个Compaction计划的话，执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置的资源，vcore数至少要大
SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。 操作步骤 要使用CBO优化，可以按照以下步骤进行优化。
Spark CBO调优 操作场景 SQL语句转化为具体执行计划是由SQL查询编译器决定的，同一个SQL语句可以转化成多种物理执行计划，如何指导编译器选择效率最高的执行计划，这就是优化器的主要作用。传统数据库（例如Oracle）的优化器有两种：基于规则的优化器(Rule-Based
行环境等自定义操作。 MRS支持WrapperFS特性，提供OBS的翻译能力，兼容HDFS到OBS的平滑迁移，解决用户将HDFS中的数据迁移到OBS后，即可实现客户端无需修改自己的业务代码逻辑的情况下，访问存储到OBS的数据。 MRS支持自动弹性伸缩，相对自建Hadoop集群的使用成本更低。
主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生成执行计划的效率，还提供了catalog，relation等缓存机制。长连接场景下这些缓存中的某些缓存是不会主动释放的，
GeneratedClass$SpecificUnsafeProjection" grows beyond 64 KB 回答 在开启钨丝计划（即tungsten功能）后，Spark对于部分执行计划会使用codegen的方式来生成Java代码，但JDK编译时要求Java代码中的每个函数的长度不能超过64KB
GeneratedClass$SpecificUnsafeProjection" grows beyond 64 KB 回答 在开启钨丝计划（即tungsten功能）后，Spark对于部分执行计划会使用codegen的方式来生成Java代码，但JDK编译时要求Java代码中的每个函数的长度不能超过64KB
因此可以在资源计划的基础上，设置基于负载的弹性伸缩规则，以实现当数据量超出预期后，Task节点数量可以在资源计划规定的范围内根据负载情况进行浮动，但不会超出该规定范围。资源计划触发时，会以变化最小的方式使节点数量满足计划规定范围，即如果需要扩容则扩容到计划节点数量范围的下限，
Web页面访问类 如何修改开源组件Web页面会话超时时间？ MRS租户管理中的动态资源计划页面无法刷新怎么办？ Kafka Topic监控页签在Manager页面不显示如何处理？ 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理？
在写入操作时，是否只生成压缩计划。在hoodie.compact.inline=true时有效。 false hoodie.run.compact.only.inline 通过Sql执行run compaction命令时，是否只执行压缩操作，压缩计划不存在时直接退出。 false
DISTRIBUTED | VALIDATE | IO} 描述 显示一条语句的逻辑的或者分布式的执行计划，也可以用于校验一条SQL语句，或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划（fragmented plan）。每一个fragment都会被一个或者多个节点执行。Fragments
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
计费类 创建MRS集群时计价器为什么未显示价格？ MRS集群中的弹性伸缩功能如何收费？ MRS集群的Task节点如何收费？ 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理？
展示的结果不正确。 JobBalance连接数监控为空。 管控面提交Spark作业Jar包所在的桶与业务桶使用同一个时，长时间运行后访问obs 403。 解决ClickHouse问题： ClickHouse偶现libunwind内存越界，导致进程重启。 ClickHouse的迁移
解决重启ClickHouse，ALM-45428告警误上报的问题。 解决管控面提交Spark长稳业务中业务jar包和业务表在同一个OBS桶下偶现OBS 403认证过期的问题。 解决租户资源管理单击关联用户无响应的问题。 解决登录环境时偶现瞬间退出，需要清理浏览器缓存，才能正常登录的问题。
_limit_s避免大查询 使用资源队列可避免不同业务相互抢占资源，相互影响，具体请参考Impala启用并配置动态资源池。 OBS存储开启本地缓存 OBS数据存储场景可根据业务需求配置本地缓存，提升读取速率，配置单盘100GB本地缓存示例：—data_cache=/srv/Big
cloud-mrs-example/tree/mrs-1.8。 MRS 1.8之前版本：http://mapreduceservice.obs-website.cn-north-1.myhuaweicloud.com/。 配置华为开源镜像仓 华为提供开源镜像站（网址为https://mirrors
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
