检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS可以直接处理OBS中的数据，客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并且集群可以随时删除，
security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false
security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？
回答： 带有分区条件的查询，Hiveserver会对分区进行优化，避免全表扫描，需要查询元数据符合条件的所有分区。 而gaussDB中提供的接口sendOneQuery，调用的sendParse方法中对参数的限制为32767，如果分区条件数超过32767就会产生异常。 父主题： Hive常见问题
HDFS提供了不同场景下的样例程序，可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 根据场景开发工程 提供样例工程，帮助用户快速了解HDFS各部件的编程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指
HDFS提供了不同场景下的样例程序，可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 根据场景开发工程 提供样例工程，帮助用户快速了解HDFS各部件的编程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指
已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 操作步骤 接口相关信息 URI格式：DELETE /v1.1/{project_id}/clusters/{cluster_id} 详情请参见删除集群。
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。对于占用存储资源（本地磁盘或者关键HDFS目录）过大的作业上报事件。
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题，无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE，手动恢复FE先通过当前“meta_dir”中的元数据，启动一个新的MASTER，然后再逐一添加其他FE。 操作步骤
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
回答 带有分区条件的查询，Hiveserver会对分区进行优化。 避免全表扫描，需要查询元数据符合条件的所有分区。 而gaussDB中提供的接口sendOneQuery，调用的sendParse方法中对参数的限制为32767。 如果分区条件数超过32767就异常。 父主题： Hive常见问题
| IPC Server handler 62 on 25000 | DIR* NameSystem.startFile: /tmp/test.txt The directory item limit of /tmp is exceeded: limit=1048576 items=1048577
创建FlinkServer作业写入数据至HBase表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 FlinkServer支持对接HBase，详情如下： 支持对接维表、Sink表。 当HBase与Flink为同一集群或互信的集群，支持FlinkServer对接HBase。
更新用户（组）与IAM委托的映射关系 功能介绍 更新用户（组）与IAM委托之间的映射关系。 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数 参数
JavaDstreamKafkaWriter： Spark版本升级后，推荐使用新接口createDirectStream，老接口createStream仍然存在，但是性能和稳定性差，建议不要使用老接口开发应用程序。 该样例代码只存在于mrs-sample-project-1.6.0
存在，Zookeeper会在“/block_numbers”目录下自动创建一个和分区名称一样的znode的问题。 解决调用MRS的作业管理接口API，返回的Spark日志的url和实际不一致的问题。 解决Spark JDBCServer切换成多实例模式后shuffle数据会不断累积，导致磁盘被打满的问题。
0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本：此告警修复后，系统会自动清除此告警，无需手工清除。 MRS 3.3.0之前版本：此告警修复后，系统不会自动清除此告警，需手工清除。 参考信息 无。 父主题： MRS集群告警处理参考
ResourceManager持续主备倒换 当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败 Superior通过REST接口查看已结束或不存在的applicationID，页面提示Error Occurred Superior调度模式下，单个NodeManage
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
