检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群外节点访问MRS HDFS报错 问题背景与现象 集群外节点访问MRS HDFS的时候报错：Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。 原因分析
MapReduce服务集群的Task节点如何收费？ 问题 MapReduce服务集群的Task节点如何收费？ 回答 包年/包月集群和按需计费集群的Task节点的计费模式都是按需计费，即按实际使用时长计费，计费周期为一小时。 父主题： 计费FAQ
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力，支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中，后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapR
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapR
Runtime Environment to continue. 使用free指令查看，该节点确实没有足够内存。 解决办法 现场进行排查内存不足原因，确认是否有某些进程占用过多内存，或者由于服务器自身内存不足。 父主题： 使用HBase
PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 用于列出指定的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12', ds =
MRS集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点。分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。
V2接口功能更强大、操作更便捷，在接口功能相同的情况下，推荐您优先使用V2接口。 商用 创建集群 2 支持多种异构虚拟机规格 MRS集群支持x86/ARM混合部署，支持弹性云服务器（ECS）和裸金属服务器（BMS）混合部署 。 商用 自定义购买集群 2020年8月 序号 功能名称 功能描述 阶段 相关文档
群名称，进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称，登录到弹性云服务器管理控制台。 选择“弹性公网IP”页签，单击“绑定弹性公网IP”为弹性云服务器绑定一个弹性公网IP。 登录Master节点执行pip3 install命令安装Python。
准备MRS节点引导操作脚本 引导操作目前仅支持Linux Shell脚本，脚本文件需以.sh结尾。 准备MRS节点引导操作脚本步骤如下： 上传所需安装包等文件至OBS文件系统。 正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
默认值 hadoop.proxyuser.spark.hosts 允许Spark用户伪装成来自哪些host的用户，需设为“*”，代表所有节点。 - hadoop.proxyuser.spark.groups 允许Spark用户伪装成哪些用户组的用户，需设为“*”，代表所有用户组。
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
/tmp/ 登录MRS管理控制台。 在集群详情页面，选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台，单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台，单击“开机”，将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。
记录变更 安排并记录对集群配置参数和文件实施的操作，为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志，例如BMC系统日志，并进行分析。 收集集群节点服务器的操作系统日志，并进行分析。 收集集群日志，并进行分析。 诊断网络 对集群的网络健康状态进行分析。 管理硬件
足问题，故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下，便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分，服务审计日志和管理审计日志。 服务审计日志每天凌晨3点自动压缩存储到主管理节点“/var/log/Bigdata/audit/bk/”，
系统每天二十三点检查当前系统中的证书文件是否失效（即当前集群中的证书文件是否过期，或者尚未生效）。如果证书文件失效，产生该告警。 当重新导入一个正常证书，并且状态不为失效状态，在下一个整点触发告警检测机制后，该告警恢复。 MRS 3.2.0及之后版本告警检测周期为：每小时整点。 MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
