检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Oozie客户端提交DistCp任务 操作场景 该任务指导用户在使用Oozie客户端提交DistCp任务。 请下载使用最新版本的客户端。 前提条件 HDFS和Oozie组件安装完成且运行正常，客户端安装成功。 如果当前客户端为旧版本，需要重新下载和安装客户端。 已创建或获取访问
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中，应用程序必须保持文字内容（jar文件或配置文件）不变。而这些内容并非基于当前版本的Yarn，而是要基于其提交时的版本。一般情况下
MRS 2.1.0.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.6 发布时间 2020-06-10 解决的问题 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题
HDFS对接OBS业务应用开发样例说明 对接原理介绍 HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类，即针对不同底层提供的实现类，在HDFS的配置文件中进行配置，HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类
MRS 3.2.0-LTS.1补丁说明 MRS 3.2.0-LTS.1.7补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.7 发布时间 2024-02-21 安装前处理 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 解决的问题
使用Oozie客户端提交DistCp任务 操作场景 该任务指导用户在使用Oozie客户端提交DistCp任务。 请下载使用最新版本的客户端。 前提条件 HDFS和Oozie组件安装完成且运行正常，客户端安装成功。 如果当前客户端为旧版本，需要重新下载和安装客户端。 已创建或获取访问
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Hive完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除。 外部表
ALM-12040 系统熵值不足 告警解释 MRS 3.2.0及之后版本： 系统每五分钟执行一次告警检查，首先检查是否启用并正确配置了rng-tools或者haveged工具，如果没有配置，则发送故障告警。否则继续检查熵值，如果连续五次检测结果均小于100，则上报故障告警。 当检测到节点已经安装并启用了
ALM-12061 进程使用率超过阈值 告警解释 系统每30秒周期性检测omm进程使用情况，执行ps -o nlwp,pid,args, -u omm | awk '{sum+=$1} END {print "", sum}'命令，获取当前omm用户并发的所有进程数，在omm用户下
ALM-27001 DBService服务不可用 告警解释 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。 DBService服务恢复时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 27001 紧急 是 告警参数 参数名称
MRS 2.1.0.7补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.7 发布时间 2020-07-15 解决的问题 MRS 2.1.0.7 修复问题列表： MRS Manager 解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto
配置MRS集群组件回收站目录清理策略 操作场景 在MRS 3.2.0-LTS.1及后续版本中，MRS集群内组件默认支持数据防误删策略，在基于OBS的Hadoop大数据系统中，客户可以兼容使用Hadoop FS原生的垃圾回收功能。 组件用户删除的文件数据并不会直接被删除，而是会保存到
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (
MRS 2.1.0.8补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.8 发布时间 2020-08-04 解决的问题 MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS，ECS接口限流问题 MRS Manager支持多人登录
通过Spark Streaming作业消费Kafka数据 应用场景 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。 假定某个业务Kafka每1秒就会收到1个单词记录。基于业务需要，开发的Spark应用程序实现实时累加计算每个单词的记录总数的功能
ALM-12033 慢盘故障 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本： 对于HDD盘，满足以下任意条件时触发告警： 系统默认每3秒采集一次数据，在30秒内至少7个采集周期的svctm时延达到1000ms。 系统默认每3
创建HetuEngine计算实例 本章节指导用户新创建HetuEngine计算实例。计算实例创建成功后，停止集群前需手动停止计算实例；重启集群后，要使用集群中的计算实例，需要手动启动计算实例。 单个租户可以创建多个计算实例，多个计算实例负载均衡，可以提高性能及容错能力（MRS 3.3.0
ALM-19006 HBase容灾同步失败 告警解释 告警模块每30s检查一次HBase容灾数据的同步状态，当同步容灾数据到备集群失败时，发送该告警。 当容灾数据同步成功后，告警清除。 告警属性 告警ID 告警级别 是否自动清除 19006 紧急 是 告警参数 参数名称 参数含义
安装Flume客户端 使用Flume搜集日志时，需要在日志主机上安装Flume客户端。用户可以创建一个新的ECS并安装Flume客户端。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在，会自动创建
HDFS开源增强特性 HDFS开源增强特性：文件块同分布（Colocation） 离线数据汇总统计场景中，Join是一个经常用到的计算功能，在MapReduce中的实现方式大体如下： Map任务分别将两个表文件的记录处理成（Join Key，Value），然后按照Join Key做
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
