检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置在两台独立的机器上。在任何一个时间点，只有一个NameNode处于Active状态，另一个处于Standby状态。Active节点负责处理所有客户端操作，Standby节点时刻保持与Active节点同步的状态以便在必要时进行快速主备切换。 为保持Active和Standby节
下其它目录和文件是否有读写权限，如果该目录不存在，会去判断其父目录，依次类推。如果一直不满足就会报权限不足。而不是报指定的目录不存在。 解决方案 请确认当前用户为路径“/tmp/aaa/aaa”的owner有读写权限，如果该路径不存在，确认对其父路径有读写权限。 父主题： 使用Hive
版本号。 如果这个文件中的值大于3就会启动失败，NodeAgent会一直尝试重启该实例，此时仍会失败而且这个值每启动失败一次就会加1。 解决办法 登录Manager管理界面。 停止该DBServer实例。 使用omm用户登录到DBServer实例异常的节点。 修改“${BIGDA
算时，或者预留升级时使用。 因为预留了10%的磁盘，当磁盘使用率达到90%的时候，HDFS的DataNode即会认为没有可用磁盘空间。 解决办法 扩容，在HDFS DataNode磁盘到80%，即需要及时扩容，请参考扩容集群。扩容完成后需进行数据均衡，请参考配置HDFS DataNode数据均衡。
用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查： 通过consumer-groups.sh来观察写入和消费的offerset的变化情况（生产一定数量的消息，客户端进行消费，观察offerset的变化）。
installation. 比对主备DBServer节点/srv/BigData/dbdata_service/data目录下的配置文件发现差距比较大。 解决办法 把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点，保持文件权限和属组与主节点一样。 修改postgresql
原因分析 从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多，如果很多，减少文件数量，提前先合并小文件或者尝试使用combineIn
用容错。当其中一台Doris后端节点发生故障时，ELB通过故障转移方式正常对外提供服务。 图1 通过弹性负载均衡访问Doris 本章节介绍如何实现MySQL客户端通过ELB访问Doris。具体操作分为以下几个步骤： 步骤一：购买ELB并获取其公网IP地址。 步骤二：添加ELB监听器，配置协议端口。
一RegionServer上报的信息，登录相应节点，查看/etc/hosts文件，发现，对应同一ip，配置两个hostname。如下： 解决办法 登录RegionServer所在节点，修改/etc/hosts文件，同一ip只能对应同一hostname。 父主题： 使用HBase
“/etc/hosts”中配置了一对多或者多对一的主机名和IP对应关系，导致在执行hostname和hostname -i获取不到正确的IP和hostname。 解决办法 将修改了节点的hostname全部修改为集群初始的hostname。 排查WebHCat所在节点的“/etc/hosts”是否配置正确。
系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。 Balancer的迁移是按迭代（iteration）方式串行顺序处理的，每个iteration迁移数据量不超过10GB，每个iteration重新计算使用率的情况。 因此针对集群情况，可以大概估算每个ite
系统选择所有DataNode节点中偏差最多的数据量作为迁移的总数据量。 Balancer的迁移是按迭代（iteration）方式串行顺序处理的，每个iteration迁移数据量不超过10GB，每个iteration重新计算使用率的情况。 因此针对集群情况，可以大概估算每个ite
ode-主机名.log”，发现如下错误信息。 重要错误信息Clock skew too great 图3 DateNode运行日志错误 解决办法 修改在原生页面查看不到的10个数据节点的时间。 在Manager页面重启对应的DataNode实例。 父主题： 使用HDFS
动态规则dynamic_0001（SQL语句扫描的文件数超过阈值），当Spark与Tez引擎达到提示阈值时拦截日志会在Yarn任务日志中打印，不支持在Beeline客户端输出。 熔断规则存在统计误差，例如规则running_0004，扫描数据量阈值配置10GB，但是因为判断周期和任
检查GC_OPTS相关参数存在多余空格，如-D sun.rmi.dgc.server.gcInterval=0x7FFFFFFFFFFFFFE。 解决办法 针对memstore、cache修改配置参数后，重启HBase服务成功。 针对GC_OPTS配置错误，修改参数后重启HBase服务成功。
txt 然后输入命令“:set list”将文件名的不可见字符显示出来。如这里显示出文件名中包含“^M”不可见字符。 图2 显示不可见字符 解决办法 使用shell命令读到文本中记录的该文件名，确认如下命令输出的是该文件在HDFS中的全路径。 cat /tmp/t.txt |awk '{print
again later. 原因分析 Hue配置过期。 MRS 2.0.1及之后版本的单Master节点集群中，Hue服务需要手动修改配置。 解决办法 Hue配置过期，重启Hue服务即可。 在MRS 2.0.1及之后版本，单Master节点的集群Hue服务需要手动修改配置。 登录Master节点。
如果源端“blee”不是空目录，且目的端“aaa”目录不存在，系统会自动创建出来“aaa”目录，并在“aaa”目录下面再创建“blee”目录，进行文件迁移。 解决办法 进行迁移操作时，源端目录（例如“blee”）不建议为空。 如果源端目录为空，在执行迁移前，需要手动创建目的端目录，即手动创建“aaa”目录。
Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时，为了规避引擎之间大小写的支持不同，统一采用小写字母。 建议 Spark批处理场景，对写入时延要求不高的场景，采用COW表。 COW表模型中，写入数据存在写放大问题，因此写入速度较慢；但COW具有非常好的读取性能力。
Yarn”。 选择“配置 > 全部配置”，搜索参数“yarn.acl.enable”，修改参数值为“true”。如果该参数值已经为“true”，则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
