检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录MRS Manager MRS Manager支持监控、配置和管理MRS集群,用户可以在MRS控制台页面打开Manager管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表,单击指定的集群名称,进入集群信息页面。
MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云(Virtual Private Cloud) MRS集群创建在虚拟私有云(VPC)的子网内,VPC通过逻辑方式进行网络隔离,为用户的MRS集群提供安全、隔离的网络环境。 创建虚拟私有云和子网
在“企业项目”中选择已有的项目,或者单击“新建企业项目”,在“企业项目管理”界面创建好企业项目后再进行添加。 在“标签”填写“标签键”和“标签值”,用于标识云资源,可对云资源进行分类和搜索。 向主题添加订阅 要接收发布至主题的消息,您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息
您需要指定数据模型(Data Model),当数据导入至数据模型时,StarRocks会按照排序键对数据进行排序、处理和存储。四种数据模型介绍如下: 明细模型 明细模型是StarRocks默认的建表模型。如果在建表时未指定任何模型,默认创建明细类型的表。 聚合模型 建表时,支持定
进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件,必须对Hive数据库和表(含外表和视图)拥有相应的权限。在MRS中,完整的Hive权限模型由Hive元数据权限与HDFS文件权限组
群信息页面。 在“网络信息”区域查看“虚拟私有云”。 进入虚拟私有云管理控制台,在左侧导航处选择“虚拟私有云”,获取3中查询的“虚拟私有云”对应的“IPv4网段”。 图1 获取IPv4网段地址 在VPC控制台左侧导航处选择“访问控制 > 网络ACL”,单击MRS集群默认生效子网和
配置MRS集群作业消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件,必须对Hive数据库和表(含外表和视图)拥有相应的权限。在MRS中,完整的Hive权限模型由Hive元数据权限与HDFS文件权限组
AccessDeniedException。 参考:在IAM服务创建策略及委托 在IAM服务创建策略。 登录IAM服务控制台。 选择“权限管理 > 权限 > 创建自定义策略”。 参考表2填写参数。常用的OBS自定义策略样例请参考OBS自定义策略。 表2 策略参数 参数 说明 策略名称 只能包含如下字符:大小写字母、中文、数字、空格和特殊字符(-_
统一身份认证服务 IAM”。 选择“权限管理 > 权限”,单击“创建自定义策略”,配置如下参数,并单击“确定”: 策略名称:填写策略名称,例如:doris-policy。 策略配置方式:选择“JSON视图”。 策略内容: { "Version": "1.1", "Statement":
YARN结构 YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分(计算、内存、带宽等)精心安排给基础NodeManager(YARN的每个节点代理)。ResourceManager还与Application
色,例如:default,详细操作请参考修改用户信息章节。 若Hive启用了Ranger鉴权,也可以参考添加Yarn的Ranger访问权限策略章节设置当前用户在指定Yarn队列提交任务的权限。 权限配置生效后,重新执行命令。 父主题: 使用Hive
支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。 流作业和批作业的状态监控。 Flink作业运维能力增强,包括原生监控页面跳转。 性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。
支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。 流作业和批作业的状态监控。 Flink作业运维能力增强,包括原生监控页面跳转。 性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
认用户密码策略时,新密码为“Admin@123Test@123”,长度为17字符种类为4。需满足当前用户密码策略时,新密码处理如表1所示。 表1 满足不同密码策略时的新密码 最小密码长度 字符种类 对比用户密码策略结果 重置后的密码 8到17位 4 已满足用户密码策略 Admin@123Test@123
有被用户关联了的角色和用户组才会自动同步至Ranger。 Ranger界面中创建的Role为用户或用户组的集合,用于灵活设置组件的权限访问策略,与FusionInsight Manager中的“角色”不同,请注意区分。 调整Ranger用户类型 登录Ranger管理页面。 调整R
为:文件大小/128MB。目录不占用Block。 根据“dfs.blocksize”,NameNode的文件对象数计算方法如下: 表1 NameNode文件对象数计算 单个文件大小 文件对象数 小于128MB 1(对应文件)+1(对应Block)=2 大于128MB(例如128G)
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H