检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群节点规格升级异常 问题现象 升级节点规格可能存在规格升级成功后组件启动失败或组件异常导致节点升级后出现异常的情况，现象如下： 升级失败的节点规格已经升级成功。 失败任务管理中有新增的升级规格失败任务。 若IAM用户已同步，可在组件管理观察到存在异常角色。 若未同步，可在
r的overhead内存大小，如果任务两个参数都设置，则spark.yarn.executor.memoryOverhead的值不生效，以spark.executor.memoryOverhead的值为最终值。 同样的参数还有driver的overhead内存设置：spark.driver
扩容：手动扩容Core或Task节点，请参见扩容集群。 升级规格：升级Master节点的实例规格，请参见升级Master节点规格。 配置弹性伸缩：根据业务数据量的变化动态调整集群Task节点数量以增减资源，请参见配置弹性伸缩规则。 若MRS提供的变更配置方式不满足您的要求，您也可以通过重建集群
升级Master节点规格需要关机吗？ 问： 在MRS集群中升级Master节点规格时需要手动关机吗？ 答： 随着用户业务的增长，Core节点的扩容，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格。 MRS服务集群的Master节点规格
开启：使用外置的MySQL数据库存储Ranger组件的User/Group/Policy等数据。 关闭：Ranger组件的User/Group/Policy等数据默认存放在当前集群本地数据库中。 当“使用外部数据源存储元数据”开启时，选择数据连接类型为“RDS服务MySQL数据库”，数
管理功能大量消耗内存的问题。 解决ClickHouseServer内存缓慢增长的问题。 解决ClickHouse未清理过期数据的问题。 解决ClickHouse banlance服务日志中打印ClickHouse用户明文密码的问题。 解决ClickHouse内存越界导致服务重启的问题。
点IP的规则。 Ranger仅支持对接RDS服务MySQL数据库，版本号为：MySQL 5.7.x、MySQL 8.0。 Hive支持对接RDS服务MySQL和PostgreSQL数据库，版本号为：MySQL 5.7.x、MySQL 8.0和PostgreSQL14。 在RDS管
置”，进入“配置实例”页签。 增大计算实例中单个Worker的内存大小 增大单个计算实例配置中的“Worker容器资源配置”的“容器内存（MB）”和“JVM”的“-Xmx”的值。 控制单个查询在单个Worker的内存使用大小 在“自定义配置”中单击“增加”，添加2个同名参数“query
Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:
当执行器中此次数据查询和加载所需要的堆外内存不足时，便会发生此异常。 在这种情况下，请增大“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存？ 该内存
当执行器中此次数据查询和加载所需要的堆外内存不足时，便会发生此异常。 在这种情况下，请增大“carbon.unsafe.working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存？ 该内存
sql-dialect: hive 中小规模数据量维度表可以采用内存维度表（如Hudi） 内存维度表：将维度数据加载到内存当中，每个TM都会加载全量的数据，在内存内实现数据点查关联。若数据量过大，需要给TM分配大的内存空间，否则容易导致作业异常。 外置维度表：将维度数据存在高速的K
的，由于JVM对生成的java代码存在各种约束，比如方法长度，参数个数等，以及行式数据对内存带宽的利用率不足，因此存在性能提升空间。使用成熟的向量化的c++加速库后，数据采用向量化格式存在内存中，可以提高带宽利用率，并通过批量的列数处理获得加速效果。 通过开启Spark Nati
集群基本信息收集 表1 集群基本信息 参数 说明 集群名称 - 集群版本 MRS、CDM等集群的版本信息。 节点数及规格 调研现有集群节点数和节点规格。 如果集群硬件异构，请收集多种规格和对应节点数，参见表2。 例如： 2台32U64G机器部署NameNode + ResourceManager
用于程序认证。 以下Doris权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点，使用admin用户连接Doris服务。 mysql -uadmin -P数据库连接端口 -hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris
间不足。 原因分析 在HBase长时间运行场景下，操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HBase的内存监控使用了JVM的jinfo命令，而jinfo依赖“/tmp/.java_pid*”文件，当该文件不存在时，jinfo会执行kill -3将jstack信息打印到
客户查询大量数据，数据量过大。 客户在检索数据时使用select * from table_name;，进行全表查询，表内数据过多。 beeline默认启动内存128M，查询时返回结果集过大，导致beeline无法承载导致。 解决办法 执行select count(*) from table_na
区空间不足。 原因分析 在HDFS长时间运行场景下，操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HDFS的内存监控使用了JVM的jinfo命令，而jinfo依赖“/tmp/.java_pid*”文件，当该文件不存在时，jinfo会执行kill -3将jstack信息打印到
已获取待连接数据库对应的驱动Jar包。 仅数据源MySQL、Oracle（MRS 3.3.0及之后版本支持）需要上传相应的驱动，驱动对应的版本号如表1所示，且驱动需要在MySQL或Oracle官网下载。 表1 MySQL、Oracle数据源支持的驱动 数据源 支持的驱动包 MySQL mysql-connector-java-8
当有多个用户绑定同一个租户时，当前版本租户级别内存限制不支持实时的总量限制。例如user1和user2同时绑定tenant1租户，租户内存限制为10 GB，user1执行的查询共使用内存5 GB，则此时user2发起查询时，会限制user2可使用的内存为5 GB，且在本次查询过程中，服务不会动态的更新这个限制。 当前
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
