检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据分布均匀和查询吞吐均衡。 数据均匀是为了避免某些桶的数据存在倾斜影响数据均衡和查询效率。 查询吞吐利用查询SQL的分桶剪裁优化避免了全桶扫描，以提升查询性能。 分桶列的选取：优先考虑数据较为均匀且常用于查询条件的列作为分桶列。 可使用以下方法分析是否会导致数据倾斜： SELECT
more 原因分析 业务量大导致连接HiveServer单个节点最大连接数超过了200，需要调大连接HiveServer实例的最大连接数。 解决办法 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击
合理的时间值。 1296000 yarn.log-aggregation.retain-check-interval-seconds 设置扫描HDFS保存的Container聚合日志的间隔时间。单位：秒。 设置为-1或0时，间隔时间将为“yarn.log-aggregation.
个文件中的记录总数约为130K。 默认值（60000）大约是此近似值的一半。 注意： 将此值设置的太低，将产生很多误报，并且索引查找将必须扫描比其所需的更多的文件；如果将其设置的非常高，将线性增加每个数据文件的大小（每50000个条目大约4KB）。 60000 hoodie.index
channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark
uid=20032(test) gid=10001(hadoop) groups=10001(hadoop),9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作： 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列，单击“修改”。
taging目录下文件 否 MR任务日志丢失 /tmp/hadoop-yarn/staging/history/done 固定目录 周期性扫描线程定期将done_intermediate的日志文件转移到done目录 否 MR任务日志丢失 /tmp/mr-history 固定目录 存储预加载历史记录文件的路径
HDFS文件系统中缺少副本块数量。 0 需要复制副本的块总数 NameNode需要复制副本的块总数。 1000 RPC 主NameNode RPC处理平均时间 NameNode RPC处理平均时间。 100ms 主NameNode RPC队列平均时间 NameNode RPC队列平均时间。 200ms 磁盘
erberos认证，Kerberos需要开放的端口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。 解决方案 确保用户可以正常读取客户端节点相关路径下的user.keytab文件。 确保用户的user.principal与指定的keytab文件对应。
Flume_ClientConfig/JDK/jdk-8u18/bin/java: No such file or directory 解决办法 适当调大堆内存（xmx）的值。 与正常启动Flume的节点进行文件和文件夹权限对比，更改错误文件或文件夹权限。 重新配置JAVA_HOME。
channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法： 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark
合理的时间值。 1296000 yarn.log-aggregation.retain-check-interval-seconds 设置扫描HDFS保存的Container聚合日志的间隔时间。单位：秒。 设置为-1或0时，间隔时间将为“yarn.log-aggregation.
HDFS时，建议使用的版本为2.8.X、3.1.X，请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 CDM
table_name;，进行全表查询，表内数据过多。 beeline默认启动内存128M，查询时返回结果集过大，导致beeline无法承载导致。 解决办法 执行select count(*) from table_name;前确认需要查询的数据量大小，确认是否需要在beeline中显示如此数量级的数据。
dropPartitionsInBatch.limit”控制，默认1000），会先于防御规则拦截。 熔断规则存在统计误差，例如规则running_0004，扫描数据量阈值配置10GB，但是因为判断周期和任务并发影响，可能在15GB甚至更高才进行熔断。 熔断规则存在边界效应，例如某个Job直到最后几
/genPwFile.sh cat password.property 若产生以下错误提示，可执行命令export JAVA_HOME=JDK路径进行处理。 JAVA_HOME is null in current user,please install the JDK and set the
taging目录下文件 否 MR任务日志丢失 /tmp/hadoop-yarn/staging/history/done 固定目录 周期性扫描线程定期将done_intermediate的日志文件转移到done目录 否 MR任务日志丢失 /tmp/mr-history 固定目录 存储预加载历史记录文件的路径
在查询客户所有记录等信息的范围查询中，HBase可以扫描热存储和冷存储中的数据。查询结果将根据数据行按写入表时的时间戳降序返回。在大多数情况下，热数据出现在冷数据之前。如果在范围查询中没有配置HOT_ONLY参数，HBase将会扫描热存储和冷存储中的数据，查询响应时间将会增加。如果
6m。 如果配置了topology.worker.gc.childopts则服务端参数worker.gc.childopts会被替换。 解决办法 如果想要修改拓扑的JVM参数，可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数，当topology
此时用户没有生效，或者sssd版本存在bug的情况下，某些情况下在ZooKeeper节点会出现用户无效的情况，导致创建Topic异常。 解决办法 重启sssd/nscd服务。 Red Hat/Euler service sssd restart SUSE sevice nscd restart
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
