检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
StackOverflowError这是内存溢出错误的一种，即线程栈的溢出，方法调用层次过多（比如存在无限递归调用）或线程栈太小都会导致此报错。 解决办法 通过调整mapreduce阶段的map和reduce子进程JVM参数中的栈内存解决此问题，主要涉及参数为mapreduce.map.java
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载 支持与MapReduce，Spark和其他Hadoop生态系统组件集成
Hive配置类问题 Hive SQL执行报错：java.lang.OutOfMemoryError: Java heap space. 解决方案： 对于MapReduce任务，增大下列参数： set mapreduce.map.memory.mb=8192; set mapreduce
当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。 为什么文件的所有副本的存储类型都是DISK？ 回答 当用户写入存储策略为LAZY
Hive配置类问题 Hive SQL执行报错：java.lang.OutOfMemoryError: Java heap space. 解决方案： 对于MapReduce任务，增大下列参数： set mapreduce.map.memory.mb=8192; set mapreduce
FineBI是一款商业智能产品，针对企业信息化遇到的困难，为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例，讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时
Hive服务状态为故障如何处理 可能原因 DBservice服务不可用会导致Hive服务状态为Bad。 HDFS服务不可用会导致Hive服务状态为Bad。 ZooKeeper服务不可用会导致Hive服务状态为Bad。 LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。
io位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1 Alluxio架构
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
了解更多常见问题、案例和解决方案 热门案例 MRS故障案例集在哪里？ MRS集群内包含哪些组件？ HDFS显示磁盘空间不足怎么办？ 如何构建MRS样例工程？ 如何访问MRS集群上托管的开源组件Web页面？ 开启Kerberos认证的集群怎么使用？ 如何登录MRS集群节点？ 如何访问MRS Manager？
uet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource
Metastore的频率，增加了缓存机制，默认缓存1小时，所以使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表。 解决方案： 执行SQL时设置参数：hoodie.datasource.hive_sync.interval=0 set hoodie.datasource
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
SQL防御概述 当前大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 SQL防御功能仅MRS
at java.lang.Thread.run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如： [root@xxxxx ~]# cat /proc/sys/net/ipv4/nei
at java.lang.Thread.run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如： [root@xxxxx ~]# cat /proc/sys/net/ipv4/nei
omm密码过期，Manager各节点互信不可用，无法对服务提供管理功能，crontab计划任务无法执行，影响ClickHouse业务。 可能原因 omm密码过期。 处理步骤 检查系统中omm密码是否过期。 以root用户登录集群故障节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行chage -l
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
