检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Task节点 特性简介 MRS集群支持创建Task节点，只作为计算节点，不存放持久化的数据，是实现弹性伸缩的基础。 客户价值 在MRS服务只作为计算资源的场景下，使用Task节点可以节省成本，并可以更加方便快捷地对集群节点进行扩缩容，满足用户对集群计算能力随时增减的需求。 用户场景
节点标签管理 标签是集群/节点的标识，为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务（TMS）关联，可以让拥有大量云资源的用户，通过给云资源打标签，快速查找具有同一标签属性的云资源，进行统一检视、修改、删除等管理操作，方便用户对大数据集群及其他相关云资源的统一管理。
配置Hive自动收集统计信息。开启配置后，执行insert overwrite/into命令插入数据时才自动统计新数据的信息。 在Hive客户端执行以下命令临时开启收集： 开启表/分区级别的统计信息自动收集： set hive.stats.autogather = true; 开启列级别的统计信息自动收集：
据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”，需要设置该值为“true”，系统即可定期备份NameNode的数据。 HDFS需要开启DataNode数据存储路径 D
- xxx命令切换用户。 客户价值 MRS提供了自定义引导操作，用户可以灵活、便捷地配置自己的专属集群，自定义安装软件。 父主题： 产品功能
务。 在大数据应用，尤其是周期性的数据分析处理场景中，需要根据业务数据的周期变化，动态调整集群计算资源以满足业务需要。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。此外，如果数据量为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划特性。
Node blacklist功能。 在新的Blacklisting DFSClient failover provider中，故障的NameNode将被记录至一个列表中。DFSClient会利用这些信息，防止客户端再次连接这些NameNode。该功能被称为NameNode blacklisting。
数据处理的日志，提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景，且用户需要是拓扑的提交者，或者加入“stormadmin”。 前提条件 在工作环境完成网络配置。 需要查看处理数据的拓扑，提交时已启用采样功能。 查看worker进程日志
Node blacklist功能。 在新的Blacklisting DFSClient failover provider中，故障的NameNode将被记录至一个列表中。DFSClient会利用这些信息，防止客户端再次连接这些NameNode。该功能被称为NameNode blacklisting。
MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载数据存储功能，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。
MRS集群中的弹性伸缩功能如何收费？ 问： MRS集群中的弹性伸缩功能如何收费？ 答： 在创建集群时，Task节点只配置了弹性伸缩的取值范围，而没有配置实例数量时，产品报价不会产生收费。如果客户配置了实例数量，产品报价会在浏览器下方即时显示出来。 如果在集群使用时，配置的弹性伸缩功能新增了节点
Key)：与访问密钥ID结合使用的密钥，对请求进行加密签名，可标识发送方，并防止请求被修改。 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见AK/SK签名指南。 签名SDK只提供签名功能，与服务提供的SDK不同，使用时请注意。
升级Master节点规格 MRS大数据集群采用Manager实现集群的管理，而管理集群的相关服务，如HDFS存储系统的NameNode，Yarn资源管理的ResourceManager，以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线，集群规
Hue WebUI有配置账号权限的功能吗？ 问： MRS集群内的Hue WebUI界面中有配置账号权限的功能吗？ 答： Hue WebUI界面服务没有配置账号权限的功能。 用户可以通过在Manager管理界面中配置集群用户角色和用户组来管理用户的权限，从而实现Hue权限的配置。 父主题：
已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 页面已启用Ranger鉴权开关，该按钮控制是否启用Ranger插件进行权限管控，启用则使用Ranger鉴权，否则使用组件自身鉴权机制。 图1 启用Ranger鉴权 操作步骤 使用Ranger管理员用户rangerad
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admi
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admi
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admi
格。 根据节点上部署的组件角色的不同，集群内的节点类型可分为Master节点、Core节点、Task节点。 表1 集群节点分类 节点类型 功能 Master节点 MRS集群管理节点，节点上部署OMSServer负责管理和监控集群。 在MRS集群创建成功后，集群内的节点名称中包含“
当参数“min_table_check_data_bytes”值为“0”时，不启用数据倾斜检查。 当参数“min_table_check_data_bytes”值为大于“0”时，启用数据倾斜检查。 启用数据检查后，若表数据量小于min_table_check_data_bytes
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
