检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl
MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）
ClickHouse日志介绍 日志描述（MRS 3.2.0及之后版本） 日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouse运行相关日志：“/var/log/Bigdata/clickhou
Yarn日志介绍 日志描述 Yarn相关日志的默认存储路径如下： ResourceManager：“/var/log/Bigdata/yarn/rm”（运行日志），“/var/log/Bigdata/audit/yarn/rm”（审计日志） NodeManager：“/var/l
xml”中的Keytab和principal的值相同。 true Python Spark Python Spark是Spark除了Scala、Java两种API之外的第三种编程语言。不同于Java和Scala都是在JVM平台上运行，Python Spark不仅会有JVM进程，还会有自身的Python进程。以下配置项只适用于Python
Yarn日志介绍 日志描述 Yarn相关日志的默认存储路径如下： ResourceManager：“/var/log/Bigdata/yarn/rm”（运行日志），“/var/log/Bigdata/audit/yarn/rm”（审计日志） NodeManager：“/var/l
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储，支持标准SQL和JDBC API的强大功能，使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl
CDL日志介绍 日志描述 日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为：“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志：“/var/log/Bigdata/clickhouse/clickhouseServer/
Flume日志介绍 日志描述 日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer：“/var/log/Bigdata/flume/flume” FlumeClient：“/var/log/Bigdata/flume-client-n/flume”
security.kerberos.login.contexts: Client 如果用户对于Kafka Client和Kafka Broker之间也需要做Kerberos认证，配置如下： security.kerberos.login.contexts: Client,KafkaClient
Flume日志介绍 日志描述 日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer：“/var/log/Bigdata/flume/flume” FlumeClient：“/var/log/Bigdata/flume-client-n/flume”
X，请执行搬迁前务必确认是否支持搬迁。 方案架构 HBase会把数据存储在HDFS上，主要包括HFile文件和WAL文件，由配置项“hbase.rootdir”指定在HDFS上的路径，华为云MRS集群的默认存储位置是“/hbase”文件夹下。 HBase自带的一些机制和工具命令也
options.sort.scope 指定数据加载期间排序的范围。 carbon.options.bad.record.path 指定需要存储bad record的HDFS路径。 carbon.custom.block.distribution 指定是否使用Spark或CarbonData的块分布功能。
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 set hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE; set hoodie
options.sort.scope 指定数据加载期间排序的范围。 carbon.options.bad.record.path 指定需要存储bad record的HDFS路径。 carbon.custom.block.distribution 指定是否使用Spark或CarbonData的块分布功能。
ClassPath} com.huawei.bigdata.spark.examples.KafkaADEventProducer {BrokerList} {timeOfProduceReqEvent} {eventTimeBeforeCurrentTime} {reqTopic}
ClassPath} com.huawei.bigdata.spark.examples.KafkaADEventProducer {BrokerList} {timeOfProduceReqEvent} {eventTimeBeforeCurrentTime} {reqTopic}
String 参数解释： Master节点数据磁盘存储类别，目前支持SATA、SAS和SSD。 取值范围： 不涉及 masterDataVolumeSize Integer 参数解释： Master节点数据磁盘存储空间。为增大数据存储容量，创建集群时可同时添加磁盘。单位为GB。 取值范围：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
