检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
code=40000) 原因分析 当前登录的用户不具备该目录或者其父目录的读写权限。创建外部表时，会判断当前用户对指定的目录以及该目录下其它目录和文件是否有读写权限，如果该目录不存在，会去判断其父目录，依次类推。如果一直不满足就会报权限不足。而不是报指定的目录不存在。 解决方案 请确认当
shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中（例如路径为：${BIGDATA_HOME}/FusionInsight_HD_xxx/x_xx_No
on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch 上报OBS监控指标开关： true表示打开 false表示关闭
Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障。 本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type = hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行2。 否，执行3。
用户A在MRS节点后台上打开了Hive相关配置文件且未关闭，此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项，保存配置并重启Hive服务，此时保存配置失败，并且Hive服务启动失败。 原因分析 由于用户B在MRS Manager页面修改配置时，配置文件被用户A在MRS节点后台打
无法同步集群中HBase的数据到备集群，同步数据积压，导致大量主备数据不一致，使得容灾主备倒换或者双读从备集群读取不到最新的数据。如果持续不处理，还会导致主集群的存储空间以及ZooKeeper节点被大量积压，最终导致主集群服务故障。 可能原因 备集群HBase服务异常。 网络异常。 处理步骤 观察告警是否自动修复。
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）
安装Tomcat后，修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息，更改Connector的Server属性值，使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能，避免请求泄漏风险。
spoolDir的监控目录为用户自定义配置文件properties.properties中.spoolDir的参数值。若监控目录文件已传输完毕，则该监控目录下的所有文件以.COMPLETED后缀结尾。 本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache
MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据 将待处理的日志文件放置在HDFS系统中。 在Linux系统中新建文本文件，将待处理的数据复制到文件中。例如将MapReduce统计样例程序开发思路中log1.txt中的内容复制保存到input_data1
主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 core-site.xml 配置Flink详细参数。 hdfs-site.xml 配置HDFS详细参数。 yarn-site.xml 配置Yarn详细参数。 flink-conf.yaml Flink客户端配置文件。 检查客户端节点网络连接。
务实际需要选择。 不支持单个角色实例添加自定义参数。 “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数，设置不同参数值后生效结果由组件加载配置文件的顺序决定。 根据配置文件与参数作用，在对应参数项所在行“参数”列输入组件支持的参数名，在“值”列输入此参数的参数值。
l/bin/easy_install。 使用对应的easy_install命令，安装dependency_python3.x文件夹下的egg文件，egg文件存在依赖关系，可使用通配符安装，如： “dependency_python3.6”目录： /usr/local/bin/easy_install
l/bin/easy_install。 使用对应的easy_install命令，安装dependency_python3.x文件夹下的egg文件，egg文件存在依赖关系，可使用通配符安装，如： “dependency_python3.6”目录： /usr/local/bin/easy_install
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 hive-site.xml Hive任务的配置文件。 job.properties 工作流的参数变量定义文件。 script.q Hive任务的SQL脚本。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job
上传文件：添加本地的jar包 指定路径：已准备好的依赖文件的HDFS路径 上传文件 上传文件 注册jar选择为“上传文件”时，需通过该项上传本地jar文件。 - 指定路径 注册jar选择为“指定路径”时，需通过该项输入依赖文件的HDFS路径（需提前准备好jar包上传至HDFS）。 /flink_upload
该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 hive-site.xml Hive任务的配置文件。 job.properties 工作流的参数变量定义文件。 script.q Hive任务的SQL脚本。 workflow.xml 工作流的规则定制文件。 执行以下命令，编辑“job
行的历史记录。 图2 查看历史记录 表1 参数说明 名称 说明 行/文件 读取数 从输入源中读取的行数（文件数）。 行/文件 写入数 写入到输出源的行数（文件数）。 行/文件 跳过数 转换过程中记录的坏行数（文件数）：输入格式不正确，无法进行转换。 转换过程中配置过滤条件后跳过的行数。
cipal将keytab文件和对应用户带入任务中。如果此处的keytab文件和之前Kafka的jaas.conf中配置的是同一个，则Spark会报一个文件多次上传的问题。解决办法是复制一份keytab文件，使得--files和--keytab上传不同的文件。 父主题： 使用Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
