检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序,执行Spark application,计算和处理用户数据。 提交Spark作业 提交SparkSQL作业 Spark基于内存进行计算的分布式计算框架。SparkSQL
通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内,多个用户组分别赋予了不同的MRS默认策略,由于权限是优先匹配低权限策略,该策略缺少“mrs:cluster:create
database tables columns”策略所在行的按钮。 删除“public”组策略。 图1 all - database策略 图2 default database tables columns策略 在Hive组件安全访问策略列表页面,单击“Add New Policy”
加省心省力。 特性描述 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式。 首先,作为主题拥有者,可以先创建一个主题,并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。MRS将集群消息发
在MRS集群详情的“节点管理”页面,节点类型包含“Core”的节点组所包含的节点为Core节点。 Task节点 计算节点,集群计算资源不足时通过配置弹性伸缩策略实现自动扩缩容。 在MRS集群详情的“节点管理”页面,节点类型为“Task”的节点组所包含的节点为Task节点。 如
policy(自定义策略) Manager_viewer default launcher-job 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略,建议使用细粒度策略。 是 为了更方便进行用户权限管理,请尽可能使用细粒度策略,减少RBAC
Hudi是否应该基于最后24个提交的元数据动态计算insertSplitSize,默认关闭。 true hoodie.copyonwrite.record.size.estimate 平均记录大小。如果指定,Hudi将使用它,并且不会基于最后24个提交的元数据动态地计算。 没有默认值设置。这对于计算插入并行度以及将插入打包到小文件中至关重要。
start() 启动Streaming计算。 awaitTermination(timeout) 当前进程等待终止,如Ctrl+C等。 stop(stopSparkContext, stopGraceFully) 终止Streaming计算,stopSparkContext用于判
查看MRS集群资源监控指标 MRS支持将集群中所有部署角色的节点,按管理节点、控制节点和数据节点进行分类,分别计算关键主机监控指标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理
Condition Ranger同步用户时存在异常。 对系统的影响 未同步的用户无法登录Ranager原生页面,无法通过Ranger为未同步的用户设置权限策略,可能导致未同步用户无法访问被Ranger权限控制的服务。 可能原因 RangerAdmin实例状态异常。 UserSync实例状态异常。
物联网时序数据分析场景介绍 在物联网场景中,海量设备采集的数据需要进行低延迟的高效接入、存储和分析,数据具有高度的时间属性相关特点,传统数据库基于二维表的数据模型,无法满足物联网场景下高效的时序数据存储和分析需求。时序数据库则是专门针对物联网时序数据场景设计的存算引擎,数据按设备管理架构和时间属性进
KrbServer及LdapServer基本原理 KrbServer及LdapServer简介 为了管理集群中数据与资源的访问控制权限,推荐安装安全模式集群。在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。MRS通过KrbServer为
以root用户通过主管理节点的IP地址登录主管理节点。 执行以下命令,查看iptables过滤列表中INPUT策略。 iptables -L 例如未配置任何规则时,INPUT策略显示如下: Chain INPUT (policy ACCEPT) target prot opt
需要CTBase用户在Ranger界面配置权限策略,赋予CTBase元数据表_ctmeta_、聚簇表和索引表RWCAE(READ,WRITE,EXEC,CREATE,ADMIN)权限。 Ranger界面配置权限操作请参考添加HBase的Ranger访问权限策略。 父主题: HBase常见问题
run(RpcExecutor.java:318) 回答 确认当前使用的账号是否具有足够的权限。 需要CTBase用户在Ranger界面配置权限策略,赋予CTBase元数据表_ctmeta_、聚簇表和索引表RWCAE(READ,WRITE,EXEC,CREATE,ADMIN)权限。 R
用户不能修改自己的密码策略绑定关系(admin用户除外)。 被锁定的用户不能修改密码策略绑定关系。 修改用户密码策略绑定关系后,用户下次修改密码时将会生效。 修改用户绑定的密码策略后,若用户密码剩余有效天数大于新绑定密码策略密码有效期时,将该用户密码有效期置为新密码策略有效期;若用户密
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 对于配置了冷热分离策略的表,无法读取和写入OBS上的冷数据,同时本地盘上的热数据变冷后,无法移动到OBS上。 可能原因 ClickHouse访问OBS的endpoint等参数错误。
Group资源软限制的方案实现的,通过“用户 > 租户角色 > Workload Group”模型对Workload进行分组管理,以保证内存和CPU资源的灵活调配和管控。目前支持CPU、内存、并发数和等待队列管理,模型设计如图1所示。 该特性仅MRS 3.3.1及之后版本支持。 仅集群已启用Ke
IaaS基础设施资源费用(弹性云服务器,云硬盘,弹性IP/带宽等) MRS服务管理费用详情,请参见产品价格详情。 您可以通过MRS提供的价格计算器,选择您需要的集群节点规格,来快速计算出购买MRS集群的参考价格。 MRS集群删除或退订后不再产生费用。 计费模式 使用MRS的首要操作就是购买MRS集群,MRS当前支持包年包月和按需计费模式。
登录MRS Manager MRS Manager支持监控、配置和管理MRS集群,用户可以在MRS控制台页面打开Manager管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。