检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
statistics.fallBackToHdfs”参数值 保存配置并重启JDBCServer2x实例。 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示Oozie版本信息 oozie job -config <arg> 指定job配置文件（job.properties）路径 -oozie <arg> 指定oozie server地址
Alluxio开发环境简介 在进行应用开发时，要准备的本地开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行是否正常。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Linux系统。 安装JDK和Maven
选择对应的IP模式，如IPv4或者IPv6。 “源端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “源端路径”：参考2中获取的“备份路径”，填写备集群保存备份数据的完整HDFS路径。例如，“备份路径/备份任务名_数据源_任务创建时间/”。
准备本地应用开发环境 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统。 运行环境：Linux系统 安装JDK 开发和运行环境的基本配置。版本要求如下：
配置HDFS快速关闭文件功能 操作场景 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功（处于COMPLETED状态）。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群，等待的消耗对集群影响较大。HDF
properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env
NameService名 产生告警的NameService。 附加信息 触发条件 系统当前指标取值满足自定义的告警设置条件、集群外的DataNode节点IP及端口。 对系统的影响 当有脱离集群管控的DataNode时，可能造成数据丢失。 可能原因 强制删除主机后，该主机又上电恢复，进程被重新启动。
单击“确定”完成密码修改，使用新密码重新登录Manager页面。 通过集群节点修改admin用户密码（MRS 2.x及之后版本）： 更新主管理节点客户端，具体请参考服务端配置过期后更新MRS集群客户端。 登录主管理节点。 （可选）若想要使用omm用户修改密码，请执行以下命令切换用户。 sudo
ALM-50227 Doris租户查询并发数超过阈值 告警解释 系统每30秒周期性检查租户FE节点的查询并发数，当检查到该值超出阈值（默认值为90%）时产生该告警。 当检测到FE的查询并发数低于阈值时，告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别
Flume证书文件非法或已损坏 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中证书文件是否有效，重新生成证书文件。 以root用户登录告警所在节点主机，并执行su - omm切换用户。 执行以下命令进入Flume服务证书目录。 cd ${BIGDATA_HOME}/FusionInsi
txt放置在指定路径下，例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 若将数据文件放置于HDFS，需指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
txt放置在指定路径下，例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 或将数据文件放置于HDFS，并指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
txt放置在指定路径下，例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 或将数据文件放置于HDFS，并指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
awei/Bigdata/FusionInsight/spark/spark/lib/streamingClient/*”。 将各服务端节点的“spark-examples_2.10-1.5.1.jar”包删除。 在客户端“spark-defaults.conf”配置文件中，修改或增加配置选项“spark
上Slot的数量，并重启实例。 等待一段时间，检查该告警是否恢复。 是，处理完毕。 否，执行4。 对Supervisor进行扩容。 添加节点。 等待一段时间，检查该告警是否恢复。 是，处理完毕。 否，执行4。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。
访问Spark Web UI界面 Spark Web UI界面主要用于查看Spark应用程序运行情况，推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、S
txt放置在指定路径下，例如"/opt/log1.txt"和"/opt/log2.txt"。 数据文件若存放在本地文件系统，需在所有部署Yarn NodeManager的节点指定目录放置，并设置运行用户访问权限。 若将数据文件放置于HDFS，需指定程序中读取文件路径HDFS路径，例如"hdfs://hacluster/path/to/file"。
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件（job.properties）路径 -oozie <arg> 指定oozie server地址
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
