检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运维人员帮助用户快速定位问题,用户可以随时收回该授权。 健康检查 MRS为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果后,还可导出检查报告用于存档及问题分析。 父主题: 产品功能
ive服务。 进入beeline客户端,在创建表时指定Location为OBS文件系统路径。 beeline 例如,创建一个表“test”,该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”: create table
作业无法提交,业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码,确认错误码是属于APIG还是MRS。 若是公共APIG的错误码(APIG的错误码是APIGW开头),联系公共APIG维护人员。 若是MRS侧错误,继续下一步。 排查服务和进程运行状态等基本情况。 登录Man
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败? 回答 通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中
该任务指导用户定期修改MRS集群Kerberos或OMS Kerberos(MRS 3.x及之后版本)管理员“kadmin”的密码,以提升系统运维安全性。 修改该密码会导致已经下载的用户凭证不可用,请修改该密码后重新下载认证凭据并替换旧凭据。 前提条件 MRS 2.x及之前版本,已在Master1节点准备客户端。
为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败? 回答 通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Su
创建用户 登录备集群的FusionInsight Manager,选择“系统 > 权限 > 角色 > 添加角色”创建一个角色,并根据主集群HBase源数据表的权限,为角色添加备数据表的相同权限。 选择“系统 > 权限 > 用户 > 添加用户”创建一个用户,根据业务需要选择用户类型
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos
使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求,并准备一个系统用户。 已开启Token认证机制。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafk
Alluxio常用概念 Masters 由两个进程组成,一个是处理用户请求和管理Journal存储系统元数据的Alluxio Master,另一个是调度文件系统操作的Alluxio Job Master。 Workers 负责管理用户可配置的本地资源(例如:内存、SDD、HDD),对底层存储进行数据操作。
该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active NameNode:主NameNode,管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息;记录写入的每个“数据块”与其归属文件的对应关系。
mode(Overwrite). save(basePath); "obs://testhudi/cow_table/"是OBS路径,testhudi是并行文件系统名称,请根据实际情况修改。 使用datasource查看表建立成功,数据正常。 val roViewDF = spark. read. format("org
x及之后版本,Manager最大支持5000个角色(包括系统内置角色,不包括租户自动创建的角色)。 MRS 2.x及之前版本,Manager最大支持的角色数为1000。 添加角色 MRS 3.x及之后版本: 登录Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在
提供告警查询、告警处理指导功能。帮助您及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。 审计 提供审计日志查询及导出功能。帮助您查阅所有用户活动及操作。 租户资源 提供统一租户管理平台。 系统 提供对FusionInsight Manager的系统管理设置,例如用户权限设置。 图2 MRS 2.x版本Manager界面
作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面,创建一个机机用户,例如developuser,“用户组”需加入“kafkaadmin”用户组。 单击“确定”。 使用admin用户登录FusionInsight Manager,选择“系统 > 权限 > 用
Flink应用开发常用概念 DataStream 数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。 Data Transformation
当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时,系统管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信,每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨M
数据存储在OBS和HDFS有什么区别? MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存
HBase服务数据读写示例安全认证(多集群互信场景) 场景说明 当不同的多个Manager系统下安全模式的集群需要互相访问对方的资源时,管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户