检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
清理Loader作业残留历史数据 本章节适用于MRS 3.2.0及之后版本。 操作场景 在业务不断运行中，Loader会积累大量的历史数据，这些历史数据可能会对作业提交、作业运行、作业状态获取等产生影响，严重时可能导致页面访问卡顿，作业运行失败等，所以需要根据具体Loader业务数据量，合理配置历史数据清理机制。
检查异常文件配置。 登录MRS集群详情页面，选择“告警管理”。 查看该告警的详细信息，查看定位信息中对应的“HostName”字段值，获取该告警产生的主机名，查看定位信息中对应的“PathName”字段值，获取异常的文件路径或者名称。 登录告警节点。 在参考信息中查找该文件的检查标准，并对
mple/tree/mrs-3.1.5。 图1 样例代码下载 下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS服务3.1.2-LTS版本获取样例工程请参考通过开源镜像站获取样例工程。 配置华为开源镜像仓 华为提供开源镜像站（网址为https://mirrors.huaweicloud
如何获取MRS集群ZooKeeper的IP地址和端口？ ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一：通过MRS控制台获取 在MRS集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。
er WebUI”界面。 图1 Loader WebUI界面 查看Loader作业的历史记录。 选择待查看的作业所在行。 如图所示，选择“更多>历史记录”查看作业执行的历史记录。 图2 查看历史记录 表1 参数说明 名称 说明 行/文件 读取数 从输入源中读取的行数（文件数）。 行/文件
ALM-12110 获取ECS临时ak/sk失败 告警解释 meta每五分钟调用ECS接口获取AK/SK信息，并缓存在meta中，在AK/SK过期失效之前会再次调用ECS接口更新AK/SK，如果连续三次调用接口失败，会产生该告警。 当meta服务调用ECS接口成功时，告警清除。 告警属性
获取MRS集群主机列表接口时提示用户无权限 用户问题 使用AK/SK获取MRS集群主机列表/v1.1/<project_id>/clusters/<cluster_id>/hosts接口时，提示用户无权限“User do not have right to access cluster”。
作业管理接口（废弃） 新增作业并执行（废弃） 查询作业exe对象列表（废弃） 查询作业exe对象详情（废弃） 删除作业执行对象（废弃） 父主题： 历史API
如何设置Spark作业执行时自动获取更多资源？ 问 如何设置Spark作业执行时自动获取更多资源？ 答 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分
默认值 spark.yarn.security.credentials.hbase.enabled HBase是否获取Token： true：获取 false：不获取 false 父主题： 使用Spark/Spark2x
怎么通过客户端设置Map/Reduce内存？ 问题现象 客户端怎么设置Map/Reduce内存？ 处理步骤 Hive在执行SQL语句前，可以通过set命令来设置Map/Reduce相关客户端参数。 以下为与Map/Reduce内存相关的参数： set mapreduce.map.memory
SyncProducer) 通过异常信息，发现当前Consumer无法从Kafka Broker 192-168-234-231节点获取元数据，导致无法连接正确的Broker获取消息。 检查网络是否存在问题，如果网络没有问题，检查是否配置主机和IP的对应关系 Linux 执行cat /etc/hosts命令。
默认值 spark.yarn.security.credentials.hbase.enabled HBase是否获取Token： true：获取 false：不获取 false 父主题： 使用Spark2x（MRS 3.x及之后版本）
partition语句直接删除历史数据 delete/drop partition命令可以用来清理历史数据，具体可以参考Hudi SQL语法参考相关内容。 优点：操作简单，支持cow表和mor表。 缺点：并发能力不足。 当Hudi表处于实时写入状态，并发执行delete/drop partition命令容易导致实时入库作业失败。
项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。
使用REST接口获取所有HBase表 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
使用REST接口获取所有HBase表 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
