检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务完成后Container挂载的文件目录未清除 作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常 重启YARN，本地日志不被删除 执行任务时AppAttempts重试次数超过2次还没有运行失败 在ResourceManager重启后，应用程序会移回原来的队列
任务完成后Container挂载的文件目录未清除 作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常 重启YARN，本地日志不被删除 执行任务时AppAttempts重试次数超过2次还没有运行失败 ResourceManager重启后，应用程序会移回原来的队列
故障的NodeManager节点无法提供Yarn服务。 容器减少，集群性能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。 NodeManager节点本地目录omm用户无访问权限。 处理步骤 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。
1-mrs-1.7.0.jar ，结果如下图所示。 回答 原因分析： 在yarn-client模式下执行任务时，Spark的Driver程序在本地执行；其中通过-Dlog4j.configuration=./log4j-executor.properties配置了Driver的日志文件，log4j-executor
添加Spark2x的Ranger访问权限策略。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务，并重新下载客户端，或刷新客户端配置文件spark/conf/spark-defaults.conf： 开启Ranger鉴权：spark.ranger.plugin
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项，包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象：
com”为“hadoop.实际域名”。实际域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序： kinit -kt keytab的存储路径
息，在客户端需要解密密文来访问，在使用过程中，用户没有按照流程操作，没有执行配置环境变量操作，且在其客户端环境变量中存在默认的JDK版本，导致在执行解密过程中调用的解密程序执行解密异常，导致用户被锁。 解决办法 使用which java命令查看默认的JAVA命令是否是客户端的JAVA。
和目录名称数量的硬性限制） space_quota 空间配额（空间配额是对当前目录树中的文件所使用的字节数量的硬性限制） 系统响应 可在客户端中查看查询结果。 父主题： Hudi CALL COMMAND语法说明
添加Spark2x的Ranger访问权限策略。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务，并重新下载客户端，或刷新客户端配置文件spark/conf/spark-defaults.conf： 开启Ranger鉴权：spark.ranger.plugin
如何查看HBase日志？ 使用root用户登录集群的Master节点。 执行su - omm命令，切换到omm用户。 执行cd /var/log/Bigdata/hbase/命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。 父主题：
如何取消MRS集群风险告警的消息通知？ 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”，在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题： 集群管理类
本章节仅适用于MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值 spark.executor.execute.shutdown
提供Yarn服务。 容器减少，集群性能可能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。 NodeManager节点本地目录omm用户无访问权限。 处理步骤 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。
编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的To
编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定
用户不属于kafkaadmin组，Kafka提供安全访问接口，kafkaamdin组用户才可以进行设置操作。 原因分析 使用客户端命令，打印NoAuthException异常。 通过客户端命令klist查询当前认证用户： [root@10-10-144-2 client]# klist Ticket
如何修复Overlap状态的HBase Region 问题 使用hbck工具检查Region状态，如果日志中存在“ERROR: (regions region1 and region2) There is an overlap in the region chain.”或者“ERROR:
库文件目录下的所有文件，均具有可读权限。同时保证已安装Jdk并已设置java相关环境变量。 在Windows中调测程序 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 通过IntelliJ IDEA可直接运行Consumer.java，如图1所示： 图1
队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
