检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看MRS节点引导操作执行记录 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况，可能会长期积累导致磁盘空间告警，因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务，借助JDBCServer
TRUNCATE TABLE 语法 TRUNCATE [TABLE] table_name [PARTITION partition_spec]; partition_spec: : (partition_column = partition_col_value, partition_column
创建Kafka权限角色 操作场景 该任务指导MRS集群管理员创建并设置Kafka的角色。 本章节内容适用于MRS 3.x及后续版本。 安全模式集群支持创建Kafka角色，普通模式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理
ALTER COLUMN 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列类型、列位置、列comment。 命令语法 ALTER TABLE tableName ALTER [COLUMN] col_old_name TYPE column_type
SHOW_FS_PATH_DETAIL 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看指定的FS路径的统计数据 命令格式 call show_fs_path_detail(path=>'[path]', is_sub=>'[is_sub]', sort=>'[sort
准备连接Hive集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows
开发Hive用户自定义函数 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF分为有如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6，最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号
在本地Windows环境中调测Spark应用 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供
ALM-19022 HBase热点检测功能不可用 告警解释 HBase服务安装MetricController实例时，告警模块按120秒周期检测HBase MetricController主实例健康状态。当HBase MetricController主实例不存在或不可用时，热点检测功能不可用
查看MRS集群已修改的组件配置参数 MRS支持一键查看集群内各服务配置参数的变动情况，方便用户快速排查定位问题，提升配置管理效率。 用户可通过MRS 3.x版本集群Manager界面快速查看集群内各服务所有非初始默认值、同一角色实例之间非统一值、集群配置修改的历史记录、集群内当前配置状态为过期的参数
Spark Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10
Hive执行insert into语句报错 问题现象 使用MRS Hive执行一条SQL，有如下报错： 图1 使用MRS Hive执行SQL报错 原因分析 查看HiveServer日志，在对应时间点，有如下的报错信息。 图2 HiveServer日志 在如上报错信息中未发现重要信息
配置HBase只读模式集群允许修改数据的IP白名单 MRS 3.x及之后版本，当HBase集群开启Replication功能时，为了保护主备集群的HBase数据一致性，对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时，首先检查发出该请求的用户的权限
安装补丁前必读 补丁基本信息 MRS 3.3.1-LTS.1.2补丁基本信息及解决问题列表请参考补丁基本信息说明。 安装补丁前提条件 集群不能存在被隔离的主机，如果存在，需要先恢复被隔离主机。 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常
文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字符串作为换行符
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能。 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的
包年/包月 包年/包月是一种先付费再使用的计费模式，适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景： 用户基于业务需求可预估资源使用周期
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
