检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次，服务日志最多保留30天，审计日志最多保留90天。
它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。
如果租户需要使用存储资源，则提前根据业务需要规划好存储路径，分配的完整存储路径在HDFS目录中不存在。 规划当前租户可分配的资源，确保每一级别父租户下，直接子租户/子租户的资源百分比之和不能超过100%。
Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。
Hive日志介绍 日志描述 日志路径：Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”，Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”，以此类推。
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。
Hive日志介绍 日志描述 日志路径：Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”，Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”，以此类推。
日志归档规则： FlinkResource运行日志： 服务日志默认20MB滚动存储一次，最多保留20个文件，不压缩。 针对MRS 3.x之前版本，Executor日志默认30MB滚动存储一次，最多保留20个文件，不压缩。
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。
调整Hive元数据超时 大分区表包含过多分区，导致任务超时，同时大量分区可能需要更多时间来加载与元存储缓存同步。因此，为了在更大规模存储中获得更好的性能，建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。
MemArtsCC会将数据持久化存储到计算侧的存储中（SSD），OBS对接MemArtsCC有如下使用场景： 提升存算分离架构访问数据的性能 利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升OBS上层应用数据读取效率。
JobHistory2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。 JDBCServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。 IndexServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
除Hive外，很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，不仅能访问Hive，也能访问使用Hive Metastore作为元数据存储的系统，例如Iceberg、Hudi等。 支持Managed Table。
JobHistory2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。 JDBCServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。 IndexServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
可以根据如下应用场景合理选择磁盘存储空间大小： 数据存储和计算分离，数据存储在OBS系统中，集群费用相对较低，计算性能不高，并且集群随时可以删除，建议数据计算不频繁场景下使用。
物联网时序数据分析场景介绍 在物联网场景中，海量设备采集的数据需要进行低延迟的高效接入、存储和分析，数据具有高度的时间属性相关特点，传统数据库基于二维表的数据模型，无法满足物联网场景下高效的时序数据存储和分析需求。
、存储位置、以及是否为外表： --创建一个新表orders，使用子句with指定创建表的存储格式、存储位置、以及是否为外表 CREATE TABLE orders ( orderkey bigint, orderstatus varchar, totalprice double
触发数据加载后，数据以CarbonData格式进行编码，并将多维列式存储格式文件压缩后复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。 HDFS路径可以配置在carbon.properties文件中。
Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。
HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请不要对该系统表命名空间进行业务建表或数据读写等操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
