检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[编号]”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索 运行日志 token-server.log Guardian服务运行时的日志。 是 startDetail.log Guardian服务预启动日志。
MapReduce开源增强特性 MapReduce开源增强特性：JobHistoryServer HA特性 JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的服务器，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决J
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
HDFS性能差导致HBase服务不可用告警 问题现象 HBase组件不断上报服务不可用告警。 原因分析 该问题多半为HDFS性能较慢，导致健康检查超时，从而导致监控告警。可通过以下方式判断： 首先查看HMaster日志（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx
为什么Bad Records导致数据加载性能降低？ 问题 为什么Bad Records会导致数据加载性能降低？ 回答 加载数据中存在Bad Records，并且“BAD_RECORDS_LOGGER_ENABLE”参数值为“true”或“BAD_RECORDS_ACTION”参数值为“redirect”。
如何配置MRS集群knox内存？ 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
在以上场景中，为使HMaster更早完成恢复任务，建议增加以下配置参数，否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期，保证Master有足够的时间协调RegionServer workers split任务，避免一次次重复相同的任务。 “hbase
FlinkSQL JSON_VALUE函数性能优化 本章节适用于MRS 3.5.0及以后版本。 使用场景 内置JSON_VALUE函数解析一个JSON item的多个字段时，复用上次JSON item的解析结果，提升算子性能。 使用方法 配置Flink作业时，可通过在FlinkServer
如何提高Presto资源使用率？ 问题现象 节点资源利用不均衡，执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例： 登录Manager页面，选择“集群 > 服务 > Presto > 实例”，查看并记录所有Presto实例所在节点主机名称。 选择“集群 >
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
替换） 将需要的线程ID转换为16进制格式： printf "%x\n" 30648 输出结果TID为77b8。 根据输出16进制TID，在线程堆栈中进行查找，发现在执行compaction操作。 对其它线程执行相同操作，发现均为compactions线程。 解决办法 属于正常现象。
Spark2x基本原理 Spark2x组件适用于MRS 3.x及后续版本。 简介 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能
如何调整MRS集群manager-executor进程内存？ 问题现象 MRS服务在集群的Master1和Master2节点上部署了manager-executor进程，该进程主要用于将管控面对集群的操作进行封装，比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客
施的影响，具体请参考MRS集群补丁说明。 MRS 2.x及之前版本、MRS 3.1.5及之后版本、MRS 3.2.0-LTS及之后版本支持在线安装补丁。 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面的“集
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
调整HetuEngine动态过滤 HetuEngine提供了动态过滤的功能，在Join场景中开启动态过滤往往有较大的性能提升。本章节介绍如何开启动态过滤功能。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量：Executor是Spark并行性的基础实体。通过增加Executor数量，集群中的并行数量
Hive Group By语句优化 操作场景 优化Group by语句，可提升命令执行速度和查询速度。 Group by的时候， Map端会先进行分组， 分组完后分发到Reduce端， Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。
Hive Join数据优化 操作场景 使用Join语句时，如果数据量大，可能造成命令执行速度和查询速度慢，此时可进行Join优化。 Join优化可分为以下方式： Map Join Sort Merge Bucket Map Join Join顺序优化 Map Join Hive的Map
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
