检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用MRS集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用,复制数据的集群双方都需要配置。 管理员可以根据以下指导,在Manager修改参数以启用集群间拷贝功能,启用之后即可
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
Hive表支持级联授权功能 本章节适用于MRS 3.3.0及之后版本,且使用此功能前还需满足以下条件: 需排查OBS是否开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS运维人员。 针对OBS存储源,需满足以下条件,否则OBS表将授权失败: 集群中必须已安装Guardian服务。
close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群宕机后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 操作步骤 将在准备集群认证用户信息时获取的主集群keytab认证文件“user.keytab”与“krb5
明细等。 若MRS集群与VPC不在同一个企业项目中,用户需要在IAM视图添加VPC查看权限后方可查看VPC及集群相关信息。 父主题: 产品功能
tion实例中,不会随当前集群的删除而删除,多个MRS集群可共享同一份元数据。 Hive组件可选元数据存储方式功能在MRS 1.9.x及之后版本支持。 父主题: 产品功能
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务
集群Hadoop、Spark、HBase、Hue及流式集群Storm,都可以在Manager上找到组件页面入口,快速访问。 父主题: 产品功能
Storm主备倒换运行日志。 审计日志 nimbus/audit.log Nimbus审计日志。 ui/audit.log UI审计日志。 supervisor/audit.log Supervisor审计日志。 logviewer/audit Logviewer审计日志。 日志级别 Storm提供了如表2所示的日志级别。
a/tez/tezui”(运行日志),“/var/log/Bigdata/audit/tez/tezui”(审计日志)。 日志归档规则:Tez的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:
close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置: 在“hbase-dual.xml”中新增主备集群的相关配置。
MRS管理控制台和集群Manager页面功能区别有哪些? 问: MRS管理控制台和集群Manager页面有什么区别与联系? 答: 用户可以通过MRS管理控制台页面登录到MRS的Manager页面。 Manager分为MRS Manager和FusionInsight Manager,其中:
KafkaUI进程启动日志。 stop.log KafkaUI进程停止日志。 start.out KafkaUI进程启动信息。 审计日志 audit.log KafkaUI服务审计日志。 鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在
配置HDFS快速关闭文件功能 操作场景 默认情况下关闭HDFS文件时需要等待所有的Block都上报成功(处于COMPLETED状态)。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群,等待的消耗对集群影响较大。HDF
close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置: 在“hbase-dual.xml”中新增主备集群的相关配置。
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关,默认为禁用Transform功能,与开源社区版本保持一致。用户可修改配置开关,开启Transform功能,当开启Transform功能时,存在一定的安全风险。
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关,默认为禁用Transform功能,与开源社区版本保持一致。 用户可修改配置开关,开启Transform功能,当开启Transform功能时,存在一定的安全风险。
为应对数据丢失或损坏对用户业务造成不利影响,在异常情况下快速恢复系统,MRS根据用户业务的需要提供全量备份、增量备份和恢复功能。 自动备份 MRS对集群管理系统Manager上的数据提供自动备份功能,根据制定的备份策略可自动备份集群上的数据,包括LdapServer、DBService的数据。 手动备份
Hue有配置账号权限的功能吗? 问: Hue有配置账号权限的功能吗? 答: Hue服务没有配置账号权限的功能。 可以通过在Manager的“系统设置”中配置用户角色和用户组来配置账号权限,从而实现Hue权限的配置。 父主题: 用户认证及权限类
节点隔离 当用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。隔离主机仅支持隔离非管理节点。 主机隔离后该主机上的所有角色实例将被停止,且不能