检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
继续升级主节点的情况。 在弹出的“确认”页面确认升级后的节点规格及费用,确认无误后单击“确认”。 确保已停止备Master节点的所有服务(详细操作请参考Master节点规格升级前准备的1-12),在“升级Master规格”页面勾选“我已确认关闭备master节点上的所有服务”和“
MetaStore的总GC时间 MetaStore的总GC时间。 12000ms HiveServer的总GC时间 HiveServer的总GC时间。 12000ms 容量 Hive已经使用的HDFS空间占可使用空间的百分比 Hive已经使用的HDFS空间占可使用空间的百分比。 85
4:只显示最后的4个字符,其他用x代替。 Partial mask: show first 4:只显示开始的4个字符,其他用x代替。 Hash:用值的哈希值替换原值,采用的是hive的内置mask_hash函数,只对string、char、varchar类型的字段生效,其他类型的字段会返回NULL值。
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架,可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制,并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User、Auditor
说明文件对应的第2列,即5分钟指标ID即可找到对应的指标说明。 部分字段说明: 实时指标ID:指标的采集周期为30s/60s的指标ID,一个独立的指标项只可能存在30s或者60s的实时指标项。 5分钟指标ID:指标对应的5分钟(300s)的指标ID。 指标采集周期(秒):主要是针
Manager提供系统中各组件的权限集中管理功能。 Manager引入角色的概念,采用RBAC的方式对系统进行权限管理,集中呈现和管理系统中各组件零散的权限功能,并且将各个组件的权限以权限集合(即角色)的形式组织,形成统一的系统权限概念。这样一方面对普通用户屏蔽了内部的权限管理细节,另一方
Zookeeper是一个开源的,高可靠的,分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂,易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用,十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前,除主管理节点以外的客户端,需要下载并更新客户端配置文件。
结束时间 慢查询的SQL语句的执行结束时间。 查询时长(s) 慢查询的SQL语句当前累计执行的时间,单位是秒。 用户 执行慢查询的SQL语句的ClickHouse用户。 客户端IP 提交该慢查询SQL语句的客户端IP。 占用的内存空间(MB) 慢查询SQL语句占用的内存大小统计,单位是MB。
MRS集群中安装的组件能否删除? 问: MRS集群创建成功后,集群中已安装的组件能否删除? 答: 已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除,如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义
TDBServer的映射关系,IoTDBServer保存region数据,直接使用操作系统自身的文件系统来管理元数据和数据文件。 容量规格 ConfigNode容量规格 当创建新的存储组时,IoTDB默认为该存储组分配10000个槽位,数据写入时根据写入的设备名和时间值,分配或创建一个data
查看MRS云服务操作日志 MRS管理控制台中记录了用户对MRS集群和作业的操作信息。日志信息常用于集群运行异常时的问题定位,帮助用户快速定位问题原因,以便及时解决问题。 目前MRS记录以下操作类型的日志信息: 集群操作 在管理控制台创建集群、删除集群、扩容集群和缩容集群等。 在管理控制台创建目录、删除目录和删除文件。
通过执行脚本确定主备管理节点 获取MRS集群的Master节点信息。 登录MRS管理控制台,选择“现有集群”,单击待操作集群名称,进入集群信息页面。 单击“节点管理”查看Master节点名称,名称中包含“master1”的节点为Master1节点,名称中包含“master2”的节点为Master2节点。
如果您不想放开VPC对应的全部IPv4网段的规则,请继续参考9~13添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加,则无需执行操作。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“网络信息”区域的“默认生效子网”右侧单击“切换子网”。
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > HDFS > 配置 > 全部配置”。
发的Reduce(化简)函数,用来保证所有映射的键值对共享相同的键组。 图1 分布式批处理引擎 MapReduce是用于并行处理大数据集的软件框架。MapReduce的根源是函数性编程中的Map和Reduce函数。Map函数接受一组数据并将其转换为一个键/值对列表,输入域中的每个
管理接口和数据控制接口在服务端无认证和鉴权控制,很容易被黑客利用和攻击。 所以在普通模式下,建议单用户场景下使用,必须通过严格限定网络访问权限来保障集群的安全。 尽量将业务应用程序部署在同VPC和子网下的ECS中,避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则,禁
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS
beros认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase,在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 Presto在开启Kerberos认证的集群提交作业的内置用户名为om
分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。 流式集群:用来做流处理任务,提供的是流式处理组件。 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。 自定义:全量自定义组件组合的MRS集群,MRS 3.x及之后版本支持此类型。
给当前用户添加其他用户库表的HDFS路径的读、写、执行权限,具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后,需要在HDFS的访问策略中添加相应的路径访问策略,否则无法访问数据文件,具体请参考添加HDFS的Ranger访问权限策略。