检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Tez日志介绍 本章节适用于MRS 3.x及后续版本。 日志描述 日志路径:Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。 TezUI:“/var/log/Bigdata/tez/tezui”(运行日志),“/var/log/Bigdata/
更新MRS客户端 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。
HDFS日志介绍 日志描述 日志存储路径:HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode:“/var/log/Bigdata/hdfs/nn”(运行日志),“/var/log/Bigdata/audit/hdfs/nn”(审计日志)。
Doris日志介绍 日志描述 日志路径:Doris相关日志的默认存储路径为“/var/log/Bigdata/doris/角色名”。 FE:“/var/log/Bigdata/doris/fe”(运行日志),“/var/log/Bigdata/audit/doris/fe”(审计日志)。
HBase日志介绍 日志描述 日志存储路径:HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster:“/var/log/Bigdata/hbase/hm”(运行日志),“/var/log/Bigdata/audit/hbase/hm”(审计日志)。
导入并配置IoTDB样例工程 背景信息 获取IoTDB开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程,可根据实际业务场景选择对应的样例,相
HDFS日志介绍 日志描述 日志存储路径:HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode:“/var/log/Bigdata/hdfs/nn”(运行日志),“/var/log/Bigdata/audit/hdfs/nn”(审计日志)。
Flink日志介绍 日志描述 日志存储路径: Flink作业运行日志:“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日
HBase日志介绍 日志描述 日志存储路径:HBase相关日志的默认存储路径为“/var/log/Bigdata/hbase/角色名”。 HMaster:“/var/log/Bigdata/hbase/hm”(运行日志),“/var/log/Bigdata/audit/hbase/hm”(审计日志)。
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。 日志归档规则:Hue的日志启动了自动压缩归档功能,默认情况下,当“access.log”、“error
从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据,本章节提供从零开始使用Spark SQL,创建一个名称为src_data的表,然后在src_data表中每行写入一条数据,最后将数据存储在“mrs_20160907”集群中。再使用SQ
Storm日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径:Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”(运行日志),“/var/log/Bigdata/audit/storm/角色名”(审计日志)。 Nimb
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。 日志归档规则:Hue的日志启动了自动压缩归档功能,默认情况下,当“access.log”、“error
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况,或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。
更新客户端(3.x及之后版本) 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问FusionInsight
MRS 3.0.5.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.0.5.1 发布时间 2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表: MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的SQL语句作业执行失败问题
通过Hue管理HDFS文件 操作场景 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式使用HDFS。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,
Flume业务模型配置说明 业务模型配置指导 本任务旨在提供Flume常用模块的性能差异,用于指导用户进行合理的Flume业务配置,避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。 Flume业务配置及模
Flink任务开发建议 高可用性下考虑提高Checkpoint保存数 Checkpoint保存数默认是1,也就是只保存最新的Checkpoint的状态文件,当进行状态恢复时,如果最新的Checkpoint文件不可用(比如HDFS文件所有副本都损坏或者其他原因),那么状态恢复就会失
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,管理员可在线按照节点范围或者组件角色范围快速检视所有日志,通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight