检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题：
商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。
商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云
Java代码使用maven打包成jar，并放在相同目录下，运行python程序时要使用--jars把jar包加载到classpath中。 由于Python样例代码中未给出认证信息，请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。 bin/spark-submit --master
HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。
示例 Hive实例 在Hive作业中，Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加，则此作业无法正常运行。 hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。
自动化监控或告警等运维也会停止。如果在保留期结束时您没有续费，集群将终止服务，系统中的数据也将被永久删除。 保证金 按需购买集群时，华为云根据用户等级和历史使用情况可能会冻结一定的保证金，资源释放时自动解冻保证金。更多信息，请参见保证金。
示例 Hive实例 在Hive作业中，Loader支持从集群可添加的所有Hive服务实例中选择任意一个。如果选定的Hive服务实例在集群中未添加，则此作业无法正常运行。 hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于“3000”。
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖的jar包直接通过华为云开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云
RegionServer以Ephemeral node的方式注册到ZooKeeper中。其中ZooKeeper存储HBase的如下信息：HBase元数据、HMaster地址。 HMaster通过ZooKeeper随时感知各个RegionServer的健康状况，以便进行控制管理。 HBase也可以部署多个HMaster，类似HDFS
添加MRS集群节点标签 标签是集群/节点的标识。为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。 集群标签：可以在创建集群时添加标签，也可以在集群创建完成后，在集群的详情页添加标签，您最多可以给集群添加20个标签。更新集群标签会将标签同步到该集群下的所有节点上。
的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行，保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹
的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行，保证数据处理的延续性。 样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹
使用Ranger时适配第三方JDK 配置场景 当使用Ranger作为spark sql的权限管理服务时，访问RangerAdmin需要使用集群中的证书。若用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而spark应用程序启动失败的问题。 在这个场
现在JDBCServer-ha模式下，出现主备倒换后不需要修改代码依旧就能直接访问新的主JDBCServer服务。 该功能仅支持普通集群（未开启Kerberos认证的集群）使用。 环境准备 安装支持环境。（开发环境请参考Spark应用开发环境简介准备） 执行以下命令安装编译工具：
根据集群版本选择对应的分支，下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hdfs-example-security”样例，获取地址：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.2.0
Storm常用参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 参数说明 配置参数 说明 默认值 supervisor.slots.ports supervisor上能够运行workers的端口列表。每个worke
Yarn客户端的端口信息错误导致提交任务后报错connection refused 用户问题 请求提交任务的Yarn的ResourceManager报错connection refused，且配置的Yarn端口为8032。 问题现象 MRS的Yarn ResourceManage
I性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。 */ public class JavaDstreamKafkaWriter {
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
