检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-24010 Flume证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前Flume证书文件是否合法（证书是否存在，证书格式是否正确），如果证书文件非法或已损坏，产生该告警。证书文件恢复合法时，告警恢复。 告警属性 告警ID
降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm
场景。 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.yarn.session.to.application.clean.enabled
可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。 登录Oozie客户端所在节点，
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
业务分析。 可以使用客户端样例目录中MapReduce程序对日志目录的数据进行分析、处理。 将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。 登录客户端所在节点，新建
用户，例如用户名为“clickhouseuser”。 使用ClickHouse客户端 安装MRS集群客户端，具体请参考安装客户端章节。 以客户端安装用户登录客户端所在的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
致。 检查Jaas文件和Keytab文件，发现Jaas文件中配置使用的pricipal为stream。 图4 检查Jaas文件 查看user.keytab文件，发现principal为zmk_kafka。 图5 查看user.keytab文件 发现jaas文件和user.keytab文件中principal不对应。
本文将以从SFTP服务器导入数据到HDFS的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
安装Flume客户端 安装MRS 3.x之前版本Flume客户端 安装MRS 3.x及之后版本Flume客户端 父主题： 使用Flume
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 可能原因 MonitorServer证书文件已过期。 处理步骤 查看告警信息。 登录FusionInsight Manager首页，选择“运维
删除HDFS文件 功能简介 删除HDFS上某个指定文件或者文件夹。 被删除的文件或文件夹，会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除，可从该文件夹中恢复。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs
MonitorServer证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 MonitorServer每隔一个小时，检查当前MonitorServer证书文件是否合法（证书是否存在，证书格式是否正确），如果证书文件非法或已损坏，产生该告警。证书文件恢复合法，告警恢复。
原因分析 客户配置了DNS服务，由于客户端连接到HBase先通过DNS来解析服务器端，所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf，打开resolv.conf文件，注释掉DNS服务器地址。 例如，#1.1.1.1。 父主题：
如果使用distcp等需要提交作业到Yarn的命令，需要在MRS客户端的Yarn目录（客户端安装目录/Yarn/config）中同步修改“core-site.xml”文件，增加以上内容。 在文件中设置AK/SK会明文暴露在配置文件中，请谨慎使用。 添加配置后无需手动添加AK/SK、End
根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。 执行以下命令，设置拓扑的jar包权限。 例如修改“/opt/storm/topology.jar”的权限： chmod 600 /opt/storm/topology.jar 执行以下命
参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构（适用于MRS 3.x之前版本） 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spa
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
