检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。 Create
“ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。 Create
凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩，所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>.tar.gz的文件名格式，压缩保存在主管理节点“/var/log/Bigdata/audit/bk/”，同时备管理节点会同步保存一个相同的副本。
per/quorumpeer”（审计日志） 日志归档规则：ZooKeeper的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩。最多保留20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，管理员可在线按照节点范围或者组件角色范围快速检视所有日志，通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
per/quorumpeer”（审计日志） 日志归档规则：ZooKeeper的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩。最多保留20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名
code2说明是在执行mapreduce任务期间报错导致任务失败。 原因分析 进入Yarn原生页面查看MapReduce任务的日志看到报错是无法识别到压缩方式导致错误，看文件后缀是gzip压缩，堆栈却报出是zlib方式。 因此怀疑此语句查询的表对应的HDFS上的文件有问题，Map日志中打印出了解析的对应的文件名
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC
一个索引，随着数据加载数量的增加，索引的数量也随之增加。由于每个索引只在一次加载时工作，索引的性能被降低。CarbonData提供加载压缩。压缩过程通过合并排序各segment中的数据，将多个segment合并为一个大的segment。 前提条件 已经加载了多次数据。 操作描述
一个索引，随着数据加载数量的增加，索引的数量也随之增加。由于每个索引只在一次加载时工作，索引的性能被降低。CarbonData提供加载压缩。压缩过程通过合并排序各segment中的数据，将多个segment合并为一个大的segment。 前提条件 已经加载了多次数据。 操作描述
COMPACTION 命令功能 压缩( compaction)用于在MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件，用于加快记录的查找。 命令格式 SCHEDULE COMPACTION on tableIdentifier |tablelocation;
parallelize(toBeDeleted, 1); client.delete(deleteRecords, newCommitTime); 压缩数据： if (HoodieTableType.valueOf(tableType) == HoodieTableType.MERGE_ON_READ)
codec”（可选：uncompressed, zlib, lzo, snappy）来选择Parquet和Orc表的压缩格式；由于Hive和Spark表在可选的压缩格式上有区别，除以上列出的压缩格式外，其他的压缩格式不支持。 合并桶表数据，需要先在Spark2x客户端的hive-site.xml里加上配置：
HA模块的SSL 操作场景 本任务将对安装DBService的集群进行手动配置DBService服务HA模块SSL的操作。 执行该操作后，如需还原，请执行还原DBService HA模块的SSL配置。 前提条件 MRS集群内主、备DBService节点的“$BIGDATA_HOME/FusionInsight_BASE_x
OpenTSDB应用开发常用概念 基本概念 data point：时间序列数据点，包括metric、timestamp、value和tag。表示某个metric在某个时间点的数值。 metric：指标项。例如，在系统监控中的CPU使用率、内存、IO等指标。 timestamp：U
parallelize(toBeDeleted, 1); client.delete(deleteRecords, newCommitTime); 压缩数据： if (HoodieTableType.valueOf(tableType) == HoodieTableType.MERGE_ON_READ)
parallelize(toBeDeleted, 1); client.delete(deleteRecords, newCommitTime); 压缩数据： if (HoodieTableType.valueOf(tableType) == HoodieTableType.MERGE_ON_READ)
parallelize(toBeDeleted, 1); client.delete(deleteRecords, newCommitTime); 压缩数据： if (HoodieTableType.valueOf(tableType) == HoodieTableType.MERGE_ON_READ)
thub.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下ClickHouse相关样例工程： 表1 ClickHouse相关样例工程
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
