检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动HDFS和Yarn服务报错“Permission denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件，报错内容：/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Ker
配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并授权控制用户对资源的访问范围。例如您的员工中有负责应用开发的人员，您希望开发人员拥有MapReduce服务的使用权限，但是不希望其拥有删除MRS集群等高危操作的权限
用户可用资源量不能超过25%。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。 状态 表示资源计划当前的状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配
对应一个或多个JDBCServer，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 Yarn资源不足情况下，不建议开启多租户模式。 配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，集群管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源时系统将继续基于Manager的角色模型进行权限控制。 从历史版本升级的集群，用户访问组件资源时默认不使用Ran
er和真实作业会在同一个队列中。 当并发提交大量oozie任务的时候就有可能出现启动了一堆oozie-launcher，将队列的资源耗完，而没有更多资源启动真实作业，最终导致任务一直没有运行。 处理步骤 参考“添加租户”章节新建一个队列给oozie使用，也可以直接使用创建MRS集
0%的集群资源。 任务1将会使用队列A提供的25%的集群资源，并从队列B获取的50%的集群资源。队列B保留25%的集群资源。 启用抢占任务特性，则任务1使用的资源将会被抢占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。 当任务2完成后，集群中存在足够的资源时，任务1将重新执行。
标签列表信息。 status String 参数解释： 虚拟机当前状态。 取值范围： 不涉及 resource_id String 参数解释： 节点资源ID。 取值范围： 不涉及 flavor String 参数解释： 虚拟机规格ID。 取值范围： 不涉及 type String 参数解释：
Trace Service，CTS）实现。CTS是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录MRS的管理事件和数据事件用于审计。
per默认会对访问服务的用户进行鉴权，没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时，Yarn默认不会对访问用户进行鉴权，所有用户可以访问Yarn中的资源。 管理员可以根据业务实际需要，在普通模式集群中配置开启Yarn鉴权，或关闭HDFS和ZooKeeper鉴权。
0%的集群资源。 任务1将会使用队列A提供的25%的集群资源，并从队列B获取的50%的集群资源。队列B保留25%的集群资源。 启用抢占任务特性，则任务1使用的资源将会被抢占。队列B会从队列A中获取25%的集群资源以满足任务2的执行。 当任务2完成后，集群中存在足够的资源时，任务1将重新开始执行。
尝试减少请求中所要求的资源量，或者增加可用配额 400 12000031 The requested number of vCPUs in the cluster exceeds the available quota. 申请集群的CPU总核数已大于可用配额数！ 尝试减少请求中所要求的资源量，或者增加可用配额
修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码 父主题： MRS集群安全配置
配置MRS集群间互信 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时，系统管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信，每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”，不同的Manager系统
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统
2.0及以后版本。 HetuEngine自适应查询介绍 一般来说，大任务的SQL语句（例如在从整个表中扫描大量数据的情况）会占用大量的资源，在资源紧张的情况下，会影响其他任务的负载。这不仅导致用户体验不佳，也会提高运维成本。为了解决上述问题，HetuEngine提供了自适应查询执
读HDFS文件 功能简介 获取HDFS上某个指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 /** * 读文件 * *
HetuEngine提供服务级默认资源队列配置项，如果没指定租户信息，默认使用Yarn为用户指定的默认租户，可能出现多个用户都默认使用相同的租户队列，从而无法达到资源隔离的效果。 如果用户需要进行资源隔离，将SQL分配给指定的资源队列来执行，来达到资源合理分配的目的时，可通过开启租户
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
