检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-18017 NodeManager非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn NodeManager非堆内存使用率，并把实际的Yarn NodeManager非堆内存使用率和阈值相比较。当Yarn NodeManager非堆内存使用率超出阈值（默认为最大非堆内存的90%）时产生该告警。
YARN HA方案介绍 YARN HA原理与实现方案 YARN中的ResourceManager负责整个集群的资源管理和任务调度，在Hadoop2.4版本之前，ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceMa
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.ja
ALM-43017 JDBCServer2x进程Full GC次数超出阈值 告警解释 系统每60秒周期性检测JDBCServer2x进程的Full GC次数，当检测到JDBCServer2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 >
Ranger与其他组件的关系 Ranger为组件提供基于PBAC的鉴权插件，供组件服务端运行，目前支持Ranger鉴权的组件有HDFS、Yarn、Hive、HBase、Kafka、Storm和Spark等，后续会支持更多组件。 Ranger为各组件提供了基于PBAC（Policy-Based
批量迁移Loader作业 操作场景 Loader支持将作业批量从一个分组（源分组）迁移到另一个分组（目标分组）。 本章节适用于MRS 3.x及后续版本。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs
配置MRS集群作业消息通知 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
径过滤器，每个服务器的多个过滤条件使用逗号“,”隔开。配置为空时表示不过滤目录。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反，即文件过滤。 例如，当“过滤类型”选择“WILDCARD”时，将该参数设置为“*”；当“过滤类型”选择“REGEX”时，将该参数设置为“\\
径过滤器，每个服务器的多个过滤条件使用逗号“,”隔开。配置为空时表示不过滤目录。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反，即文件过滤。 例如，当“过滤类型”选择“WILDCARD”时，将该参数设置为“*”；当“过滤类型”选择“REGEX”时，将该参数设置为“\\
径过滤器，每个服务器的多个过滤条件使用逗号“,”隔开。配置为空时表示不过滤目录。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反，即文件过滤。 例如，当“过滤类型”选择“WILDCARD”时，将该参数设置为“*”；当“过滤类型”选择“REGEX”时，将该参数设置为“\\
“*”配置多个字符。 在匹配条件前加“^”表示取反，即文件过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反，即文件过滤。 *
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中，NameNode作为单独的机器，在其
清除的告警。 导出的审计日志文件，包含以下信息列： “编号”：表示MRS Manager已生成的审计日志数量，每增加一条审计日志则编号自动加1。 “操作类型”：表示用户操作的操作类型，分为“告警”、“审计日志”、“备份恢复”、“集群”、“采集日志”、“主机”、“服务”、“多租户”
调测HetuEngine Python3应用 本章节适用于MRS 3.3.0及以后版本。 操作场景 在python3程序代码完成开发后，可以在Windows环境或者上传到Linux环境进行调测，和集群业务平面网络互通时，可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用，包含单个Job百万个task。应用结束后，在JobHistory中访问该应用的原生页面，浏览器会等待较长时间才跳转到应用原生页面，如果10分钟内无法跳转，则页面会显示Proxy
快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生
Flink客户端使用实践 本节提供使用Flink运行wordcount作业的操作指导。 使用Flink客户端前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。
默认值为“4” 建议该值大于等于“state.backend.rocksdb.writebuffer.number-to-merge”的值加“2” state.backend.rocksdb.writebuffer.size 64MB Memtable大小 state.backend
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用，包含单个Job 百万个task。应用结束后，在JobHistory中访问该应用的原生页面，浏览器会等待较长时间才跳转到应用原生页面，若10分钟内无法跳转，则页面会显示Proxy
清理Loader作业残留历史数据 本章节适用于MRS 3.2.0及之后版本。 操作场景 在业务不断运行中，Loader会积累大量的历史数据，这些历史数据可能会对作业提交、作业运行、作业状态获取等产生影响，严重时可能导致页面访问卡顿，作业运行失败等，所以需要根据具体Loader业务数据量，合理配置历史数据清理机制。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
