检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用自定义安全组创建MRS集群？ 问： 如何使用自定义安全组创建MRS集群？ 答： 使用自定义安全组创建MRS集群有以下两种方式： 用户购买集群时，选择使用自己创建的安全组时，需要放开9022端口。 用户购买集群时，安全组选择“自动创建”。 父主题： 集群创建类
ession（0x164cb2b3e4b36ae4）不一致的问题，导致NameNode备节点的watcher没有感知到自己已经成功建立临时节点，依然认为自己还是备。 而NameNode主节点启动后，发现/hadoop-ha/hacluster目录下已经有active的节点，所以也无法升主，导致两个节点都为备。
统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”，授权ECS或BMS调用OBS服务，如图2所示。 “持续时间”选择“永久”并单击“完成”。 图2 创建委托
数据存储 MRS集群节点仅用于存储用户业务数据，非业务数据建议保存在对象存储服务或其他弹性云服务器中。 MRS集群节点仅用于运行MRS集群内服务，其他客户端应用程序、用户业务程序建议申请独立弹性云服务器部署。 请根据业务需要规划集群节点的磁盘，如果需要存储大量业务数据，请及时增加云硬
数据导出 概述 使用Loader导出数据 典型场景：从HDFS/OBS导出数据到SFTP服务器 典型场景：从HBase导出数据到SFTP服务器 典型场景：从Hive导出数据到SFTP服务器 典型场景：从HDFS/OBS导出数据到关系型数据库 典型场景：从HBase导出数据到关系型数据库
MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。 自定义购买专属云MRS集群 登录MRS管理控制台。 单击“购买集群”，进入“购买集群”页面。 在购买集群页面，选择“自定义购买”页签。 在“基础配置”区域，设置MRS集群基础信息。 计费模式：选择“包年/包月”模式。
用户使用Linux命令行创建topic，执行命令前需要使用kinit命令进行人机认证，如kinit flinkuser。 flinkuser需要用户自己创建，并拥有创建Kafka的topic权限。 创建topic的命令格式：{zkQuorum}表示ZooKeeper集群信息，格式为IP:p
生产者（Producer）将消息发布到Kafka主题（Topic）上，消费者（Consumer）订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于每一个主题，Kafka集群保留一个用于缩放、并行化和容错性的分区（Partition）。每个分区是一个有序、不可
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步，时间相差超过15min，导致集群访问OBS时鉴权失败，上报403异常。 处理步骤 以root用户登录集群主Master节点。
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
服务角色在主机节点上运行的具体实例。 例如运行在Host2上的KerberosAdmin，运行在Host3上的KerberosServer。 主机 一个弹性云服务器，可以运行Linux系统。 例如Host1～Host5。 机架 一组包含使用相同交换机的多个主机集合的物理实体。 例如Rack1，包含Host1～Host5。
扩容ClickHouse节点磁盘 随着业务量的增长，ClickHouse节点数据盘的磁盘容量已不能满足业务需求，需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费，扩容磁盘容量后MRS集群不支持转包周期。 前提条件 ClickHouse集群和实例状态正常。 已评估好要扩
用户使用Linux命令行创建topic，执行命令前需要使用kinit命令进行人机认证，如kinit flinkuser。 flinkuser需要用户自己创建，并拥有创建Kafka的topic权限。 具体操作请参考准备开发用户章节。 创建topic的命令格式：{zkQuorum}表示ZooK
更改NodeManager角色的存储目录。 选择“现有集群”，单击集群名称。选择“组件管理 > Yarn > 停止”，停止Yarn服务。 登录弹性云服务器，以root用户登录到安装Yarn服务的各个节点中，执行如下操作。 创建目标目录。 例如目标目录为“${BIGDATA_DATA_HOME}/data2”：
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
e，那么每个block就是一个分片，否则就会将一个block文件分隔为多个分片，如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。
对于开启了Kerberos认证的集群（安全模式），集群之间需要配置系统互信。 每个集群的两个安全组，需分别添加对端集群的两个安全组入方向规则，允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 启用MRS集群间拷贝功能 登录其中一个集群的Manager界面。 MRS 2.x及之前版本，选择“服务管理
Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。 安装Flume客户端。 可参考安
Authentication）方式访问FusionInsight Manager REST API的用户使用。 REST API REST API是访问Web服务器的一套API，REST API接口的执行方式是通过HTTP请求进行的，接收GET、PUT、POST、DELETE等请求并使用JSON数据进行响应。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
