检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
Spark2x基本原理 Spark2x组件适用于MRS 3.x及后续版本。 简介 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题： 组件介绍
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档：http://hadoop
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档：http://hadoop
Schema演进介绍 Schema演进（Schema Evolution）允许用户能够方便地修改Hudi表的当前Schema，以适应不断变化的数据。 本章节内容仅适用于MRS 3.2.0及之后版本。 Schema演进支持范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。
KafkaManager介绍 KafkaManager是Apache Kafka的管理工具，提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager可以： 支持管理多个Kafka集群 支持界面检查集群状态（主题，消费者，偏移量，分区，副本，节点） 支持界面执行副本的leader选举
CDL日志介绍 日志描述 日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。
Guardian日志介绍 日志描述 日志路径：Guardian相关日志的存储路径为：“/var/log/Bigdata/guardian/token-server”。 日志归档规则：Guardian的运行日志启动了自动压缩归档功能，当日志大小超过50MB的时候（此日志文件大小可进
60%~80%数据存储空间，大大节省硬件存储成本。 关于CarbonData的架构和详细原理介绍，请参见：https://carbondata.apache.org/。 父主题： 组件介绍
Tez日志介绍 日志描述 日志路径：Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。 TezUI：“/var/log/Bigdata/tez/tezui”（运行日志），“/var/log/Bigdata/audit/tez/tezui”（审计日志）。
Hue日志介绍 日志描述 日志路径：Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”（运行日志），“/var/log/Bigdata/audit/hue”（审计日志）。 日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error
资源申请和任务调度与容错等工作。此外，TezUI依赖Yarn提供的TimelineServer实现Tez任务运行过程呈现。 父主题： 组件介绍
JobGateway日志介绍 日志描述 日志路径：JobGateway相关日志的存储路径为：“/var/log/Bigdata/job-gateway/”。 日志归档规则：JobGateway的运行日志启动了自动压缩归档功能，当日志大小超过20MB的时候（此日志文件大小可进行配置
Kudu不依赖Zookeeper，通过自身实现Raft来保证一致性。 Kudu持久化数据不依赖HDFS，TServer实现数据的强一致性和可靠性。 父主题： 组件介绍
Kafka日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行Job。 public void start(String
Spark日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日
Hive日志介绍 日志描述 日志路径：Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”，Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”，以此类推。 HiveServer：“/var/log/Bigd
Hive日志介绍 日志描述 日志路径：Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”，Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”，以此类推。 HiveServer：“/var/log/Bigd
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
