检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DBService简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左右），比如：组件元数据。DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。 DBService是集群的基础组件，Hive、Hue、Oozie、Load
息失败。 而在处理Hive格式的表时，Spark2x与Spark1.5的存储方式一致，所以Spark2x可以直接读取Spark1.5创建的表，不存在上述问题。 规避措施： Spark2x可以通过创建外表的方式来创建一张指向Spark1.5表实际数据的表，这样可以实现在Spark2x中读取Spark1
原因分析 MapReduce任务提交前对输入文件数的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer最大堆内存的比值，例如500000/4（默认值），表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法
Web UI”对应的“ResourceManager”进入Web界面，查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入Spark UI页面。 History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。
不同版本计费差异 普通版和LTS版由于功能不一致，计费存在一定差异，详情请查看计费说明，您也可以通过MRS提供的价格计算器，选择您需要的集群版本、节点规格，快速计算出购买MRS集群的参考价格。
Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop
节点系统盘的存储类型和存储空间，可根据需要进行调整，更多MRS集群存储说明请参考磁盘角色。 - 数据盘 节点数据盘的存储类型和存储空间，为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，更多MRS集群存储说明请参考磁盘角色。 - LVM
基于简化使用的角度，针对大数据量的表，可以通过采用Bucket索引来避免状态后端的复杂调优。 如果Bucket索引+分区表的模式无法平衡Bueckt桶过大的问题，还是可以继续采用Flink状态索引，按照规范去优化对应的配置参数即可。 建议 基于Flink的流式写入的表，在数据量超
日志）。 日志归档规则：HDFS的日志启动了自动压缩归档功能，默认情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。
称）。 日志归档规则：HBase的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。
元数据存储方式，您可以根据自身需要进行选择： 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置数据连接：MRS集群创建完成后，可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的Post
ce/”（审计日志目录）。 日志归档规则：DBService的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过1MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表
用指定的文件格式导出到指定的存储系统中。 导出命令不会检查文件及文件路径是否存在、是否会自动创建路径、或是否会覆盖已存在文件，由远端存储系统的语义决定。 如果在导出过程中出现错误，可能会有导出文件残留在远端存储系统上，Doris不会清理这些文件，需要手动清理。 导出命令的超时时间同查询的超时时间，可以通过SET
插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。由于是非多副本存储的临时数据，不提供磁盘热插拔能力。
Tez Tez是Apache最新的支持DAG（有向无环图）作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎，执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明，请参见：https://tez
Loader操作审计日志（例如：作业的增删改查、用户的登录）。 tomcat日志 catalina.out tomcat的运行日志 catalina. <yyyy-mm-dd >.log tomcat的运行日志 host-manager. <yyyy-mm-dd >.log tomcat的运行日志 localhost_access_log
称）。 日志归档规则：HBase的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。
0及之后版本）。 日志归档规则：Ranger的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”，最多保留最近的20个压缩文件。 表1 Ranger日志列表
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示：
ce/”（审计日志目录）。 日志归档规则：DBService的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过1MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
