检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.yarn.executor.memoryOverhead设置不生效如何处理？ 问题现象 Spark任务需要调整executor的overhead内存，设置了参数spark.yarn.executor.memoryOverhead=4096，但实际计算的时候依旧按照默认值1024申请资源。
来支持多个用户的不同需求。 因此，MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源（资源包括计算资源和存储资源）的能力。 特性优势 合理配置和隔离资源 租户之间的资源是隔离的，一个租户对
NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据，并且会周期性地向NameNode报告该DataNode的数据存放情况。 JournalNode
jdbc4-*.jar，与开源Postgre服务不兼容导致报错。 报错中type为12时：数据库的pg_hba.conf文件配置有误。 解决方案： 报错中type为5时：在每台MRS NodeManager实例所在节点上移动驱动包“gsjdbc4-*.jar”到“tmp”目录下。
如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 解决的问题 MRS 3.1.2-LTS.0.3 修复问题列表： 修复log4j漏洞(CVE-2021-44228)，log4j升级到2.17.2版本 包含MRS 3.1.2-LTS.0.2修复问题 补丁兼容关系 MRS 3
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力
operation DFS : [ADMIN PRIVILEGE] (state=,code=1) 原因分析 当前登录的用户不具备操作此命令的权限。 解决方案 如果登录的当前用户具有admin角色，请用set role admin来切换成admin角色操作。如果不具备admin角色，在Manager页面中给用户绑定对应角色的权限。
快速开发HBase应用 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
执行distcp命令报错如何处理 问题 为何distcp命令在安全集群上执行失败并发生异常？ 客户端出现异常： Invalid arguments:Unexpected end of file from server 服务器端出现异常： javax.net.ssl.SSLException:Unrecognized
SparkStreaming作业运行后报OBS访问403如何处理？ 问： SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答： 当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey，
如何处理HetuEngine数据源丢失问题 问题 登录客户端查看HSConsole界面对接的数据源，数据源丢失。 回答 数据源丢失可能原因是DBservice主备倒换或数据库连接数使用率超过阈值造成。 用户可以登录FusionInsight Manager页面查看告警信息。 根据
name=default.t1]] (state=42000,code=40000) 原因分析 创建的新用户没有Hive组件的操作权限。 解决方案 MRS Manager界面操作： 登录MRS Manager页面，选择“系统配置 > 角色管理 > 添加角色”。 输入角色名称。 在“
HyperLogLog（hll）是一种统计基数的算法。它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个1的位置，来计算元素数量。通常分为稀疏存储结构和密集存储结构两种。hll创建时是稀疏存储结构，当需要更高效处理时会转为密集型数据结构。P4HyperLogLog则
该指导适用于本地盘系列（d/i/ir/ki系列）MRS集群，针对Core、Task类型节点的磁盘存在硬件故障。 Kafka组件不支持更换磁盘，如果存储Kafka数据的节点故障，请联系华为云技术支持处理。 登录FusionInsight Manager。 选择“主机”并单击故障主机的“主机
Hue连接HiveServer报错“over max user connections”如何处理？ 适用版本：MRS 3.1.0及之前的MRS 3.x版本。 修改所有Hue节点上的以下配置文件： /opt/Bigdata/FusionInsight_Porter_8.*/inst
的列式存储格式。该格式具有许多新型列存储文件的特性。例如，分割表，压缩模式等。CarbonData具有以下独有的特点： 伴随索引的数据存储：由于在查询中设置了过滤器，可以显著加快查询性能，减少I/O扫描次数和CPU资源占用。CarbonData索引由多个级别的索引组成，处理框架可
因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default.conf文件中的spark
租户使用HBase BulkLoad功能提示权限不足如何处理 问题 租户使用HBase bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如： 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。
HDFS执行Balance时被异常停止如何处理 问题 在HDFS客户端启动一个Balance进程，该进程被异常停止后，再次执行Balance操作，操作会失败。 回答 通常，HDFS执行Balance操作结束后，会自动释放“/system/balancer.id”文件，可再次正常执行Balance。
如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
