检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如遇到MetaException或者连接MetaStore失败，则需要查看MetaStore运行日志。 GC日志查看 HiveServer和MetaStore均有GC日志，当遇到GC问题可以查看GC日志以快速定位是否是GC导致。例如遇到HiveServer或MetaStore频繁重启就需要去看下对应的GC日志。
图1 设置Eclipse的编码格式 修改样例（未开启Kerberos认证集群可跳过此步骤）。 在4获取新建开发用户的krb5.conf和user.keytab文件后，修改ExampleMain.java中的userName为对应的新建用户，例如impalauser。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“ZooKeeper”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
> 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择对应的主机。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况，可能会长期积累导致磁盘空间告警，因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务，借助JDBCServ
前提条件 MRS集群管理员已明确业务需求。 登录Manager。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”，然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限： “集群管理操作权限”：Yarn管理员权限。 “调度队列”：队列资源管理。
实例 > 任一MetaStore实例 > 图表”，在“图表分类”选择“操作统计”，查看“create_table API元数据操作耗时情况”和“add_partitions_req api执行情况”等监控，看SQL运行慢是否是因为MetaStore访问变慢。 父主题： Hive故障排除
Settings”。 弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Global Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ
打印审计日志，会消耗一定操作系统性能，经过分析仅影响不到1%。 打印审计日志，会占用一定磁盘空间。该日志打印量不大，MB级别，且默认配置有老化机制和检测磁盘剩余空间机制，不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点，分别执行以下操作。 以root用户登录节点，执行service
Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
允许例外条件 > 允许条件。 系统判断流程可参考下图所示，如果组件资源请求未匹配到Ranger中的权限策略，系统默认将拒绝访问。但是对于HDFS和Yarn，系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要将一个文件夹FileA的读写权限授权给用户组groupA，但是该用户组
x调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create
序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
examples的HdfsExample类。 在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。 // 完成初始化和认证 confLoad(); authentication(); // 创建一个用例 HdfsExample hdfs_examples
如还有更多副本，则随机选择其它DataNode。 “节点磁盘可用空间块放置策略”的副本选择机制为： 第一个副本：存放在客户端所在DataNode（和默认的存放策略一样）。 第二个副本： 选择存储节点的时候，先挑选2个满足要求的数据节点。 比较这2个节点磁盘空间使用比例，如果磁盘空间使用率的相差小于5%，随机存放到第一个节点。
如还有更多副本，则随机选择其它DataNode。 “节点磁盘可用空间块放置策略”的副本选择机制为： 第一个副本：存放在客户端所在DataNode（和默认的存放策略一样）。 第二个副本： 选择存储节点的时候，先挑选2个满足要求的数据节点。 比较这2个节点磁盘空间使用比例，如果磁盘空间使用率的相差小于5%，随机存放到第一个节点。
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
