检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Ranger权限策略 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。 目前安全模式集群中支持Ranger的组件包括:HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm。
恢复HBase元数据 操作场景 为了确保HBase元数据(主要包括tableinfo文件和HFile)安全,防止因HBase的系统表目录或者文件损坏导致HBase服务不可用,或者系统管理员需要对HBase系统表进行重大操作(如升级或迁移等)时,需要对HBase元数据进行备份,从而
升级MRS集群Master节点规格 随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。本章节介绍Master节点规格升级的操作流程。 升级MRS集群Master节点规格前提条件 确认是否开启了主机安全服务(Host
服务实例和主机名。 检查RegionServer堆内存。 在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“HBase服务进程堆内存使用率超过阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。
实例和主机名。 检查RegionServer堆内存配置。 在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“HBase服务进程堆内存使用率超过阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的
Flink Savepoints CLI介绍 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的元数据
Impala SQL接口介绍 Impala SQL提供对HiveQL的高度兼容性,Impala使用SQL作为其查询语言,为了保护用户在技能开发和查询设计上的投资,Impala提供了与Hive查询语言(HiveQL)的高度兼容性。 由于Impala使用与Hive相同的元数据存储来记
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(applicat
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后,需要重启Spark2x服务。 需要重新下载客户端,或手动刷新客户端配置文件“客户端安装目录/Spark
如何查看MRS集群配置信息? 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面,可以查看到集群的基本配置信息,包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。 节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点
Loader算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的
恢复ClickHouse元数据 操作场景 在用户意外修改、删除或需要找回数据时,集群用户需要对ClickHouse进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致ClickHouse组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对ClickHouse元数据进行恢复数据操作。
/mnt Successfully created directory /mnt 挂载一个已有的OBS文件系统到Alluxio(前提:给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式))。此处以obs-mrstest文件系统为例,请根据实际情况替换文件系统名。
下载MRS集群日志 Manager支持批量导出各个服务角色所有实例生成的日志,无需手工登录单个节点获取。 下载MRS集群日志(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“运维 > 日志 > 下载”。 选择日志下载范围。 “服务”:单击勾选所需服务。
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件,用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。 如果集群
配置定时备份告警与审计信息 用户通过修改配置文件,实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议,FTP协议未加密数据可能存在安全风险,建议使用SFTP。 本章节适用于MRS
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo