-
通过引导操作安装第三方软件 - MapReduce服务 MRS
通过引导操作安装第三方软件 前提条件 已准备好引导操作脚本,详情请参见准备引导操作脚本。 在创建集群时添加引导操作 进入购买MRS集群页面。 在购买集群页面,选择“自定义购买”。 参考购买自定义集群配置集群软件配置和硬件配置信息。 在“高级配置”区域勾选“现在配置”,单击引导操作栏的“添加”。
-
配置自动化脚本 - MapReduce服务 MRS
配置自动化脚本 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 单击“配置自动化脚本”按钮。 单击“添加”。 配置“名称”、“脚本路径”、“执行节点”、“参数”、“执行时机”、“失败操作”。参数详情请参考表4。
-
加固策略 - MapReduce服务 MRS
在FusionInsight Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。
-
ALM-12002 HA资源异常(2.x及以前版本) - MapReduce服务 MRS
x及以前版本) 告警解释 HA软件周期性检测Manager的WebService浮动IP地址和Manager的数据库。当HA软件检测到浮动IP地址或数据库异常时,产生该告警。 当HA检测到浮动IP地址或数据库正常后,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12002 严重 是
-
MapReduce基本原理 - MapReduce服务 MRS
MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”及其主要思想,均取自于函数式编程语言及矢量编程语言。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一
-
ALM-12076 gaussDB资源异常 - MapReduce服务 MRS
ALM-12076 gaussDB资源异常 告警解释 HA软件每10秒周期性检测Manager的数据库。当HA软件连续3次检测到数据库异常时,产生该告警。 当HA检测到数据库正常后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12076 重要 是 告警参数 参数名称 参数含义
-
安全加固 - MapReduce服务 MRS
升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法,防止被他人利用攻击。
-
安装MRS 3.x及之后版本Flume客户端 - MapReduce服务 MRS
Flume_Client.tar”为例进行描述。 上传软件包。 以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client”。 user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的
-
使用Impala客户端 - MapReduce服务 MRS
使用Impala客户端 Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户
-
自动弹性伸缩 - MapReduce服务 MRS
定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负载的变化,免去了人工操作。同时,自动化脚本给用户实现个性需求提供了途径,完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。 客户价值 MRS的自动弹性伸缩可以帮助用户实现以下价值。
-
使用DBeaver访问HetuEngine - MapReduce服务 MRS
使用DBeaver访问HetuEngine 本章节以DBeaver 7.2.0版本为例,讲解如何访问HetuEngine。 前提条件 DBeaver已正常安装。DBeaver软件下载链接:https://dbeaver.io/files/7.2.0/ 。 已在集群中创建“人机”用户,如hetu_user,可参考创建
-
使用Kafka Eagle对接MRS Kafka - MapReduce服务 MRS
使用Kafka Eagle对接MRS Kafka Kafka Eagle简介 Kafka Eagle是一款分布式、高可用的Kafka监控软件,提供丰富的Kafka监控指标,例如:Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic
-
使用DBeaver访问Phoenix - MapReduce服务 MRS
tar.gz中下载Phoenix软件包并解压,获取“phoenix-5.0.0-HBase-2.0-client.jar”。 从客户端安装节点上的“客户端安装目录/HBase/hbase/conf”目录下下载“hbase-site.xml”文件。使用压缩软件打开2获取到的“phoenix-5
-
MRS集群节点如何进行操作系统漏洞升级 - MapReduce服务 MRS
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤
-
配置HetuEngine查询容错执行能力 - MapReduce服务 MRS
操作场景 当集群中的节点因网络、硬件或软件问题发生故障时,在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费,尤其对于长时间运行的查询影响较大。HetuEngine提供一种故障恢复机制,即容错执行能力。集群可通过自动重新运行受影响的查询或其组件任务来降
-
查看及导出审计日志 - MapReduce服务 MRS
系统记录的日志信息包含: 用户活动信息,如用户登录与注销,系统用户信息变更,系统用户组信息变更等。 用户操作指令信息,如集群的启动、停止,软件升级等。 操作步骤 查看审计日志 在MRS Manager,单击“审计管理”,可直接查看默认的审计日志。 若审计日志的审计内容长度大于25
-
Impala客户端使用实践 - MapReduce服务 MRS
Impala客户端使用实践 Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户
-
在Linux环境中调测HetuEngine应用 - MapReduce服务 MRS
HetuEngine_Client.tar”获取jdbc驱动包,并上传到Linux环境“/opt/client”目录下。 jdbc驱动包可在集群客户端软件包解压路径“FusionInsight_Cluster_1_Services_ClientConfig\HetuEngine\XXX\”路径下获取“hetu-jdbc-*
-
CDL数据集成概述 - MapReduce服务 MRS
数据库中抓取Data Change事件,然后推送至Kafka中,最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中,从而实现数据的实时入湖。 CDL服务包含了两个重要的角色:CDLConnector和CDLService。CDLConnector
-
MRS可靠性增强 - MapReduce服务 MRS
自动处理文件系统的故障,自动恢复受影响的业务。 自动处理进程和节点的故障,自动恢复受影响的业务。 自动处理网络故障,自动恢复受影响的业务。 数据备份与恢复 为应对数据丢失或损坏对用户业务造成不利影响,在异常情况下快速恢复系统,MRS根据用户业务的需要提供全量备份、增量备份和恢复功能。 自动备份 M