检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS使用OBS的并行文件系统提供服务。 配置存算分离集群(委托方式) 配置存算分离集群(AKSK方式) 弹性云服务器(Elastic Cloud Server) MRS服务使用弹性云服务器(ECS)作为集群的节点,每个弹性云服务器是集群中的一个节点。 准备运行环境 创建集群 云数据库(Relational Database
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
Doris冷热分离介绍 在数据分析的实际应用场景中,冷热数据经常有不同的查询频次及响应速度要求。例如,在行为分析场景中,需支持近期流量数据的高频查询和高时效性,历史数据的访问频次很低,但需长时间备份以保证后续的审计和回溯工作,且查询需求也会随着时间推移锐减,如果将所有数据存储在本地,将造成大量的资源浪费。
获取MRS集群信息 MRS服务支持的组件 MRS 3.2.0-LTS.1支持的组件信息如下: 分析集群包含的组件有:Hadoop,Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Guardian
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍
操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。 MRS3.x及后续版本: 以root用户登录已安装Hive客户端的节点。 执行以
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MR
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。
创建FlinkServer流表源 操作场景 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建流表 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考表1填写信息,单
创建FlinkServer流表源 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建FlinkServer流表步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考
6版本(CentOS 7.6) 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 如果未安装,在配置了yum源的情况下,可执行yum
修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”,会等待缓冲
批量写入Hudi表 操作场景 Hudi提供多种写入方式,具体见hoodie.datasource.write.operation配置项,这里主要介绍UPSERT、INSERT和BULK_INSERT。 INSERT(插入): 该操作流程和UPSERT基本一致,但是不需要通过索引去
修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”,会等待缓冲
MRS是否支持变更MRS集群节点? MRS管理控制台不支持变更集群节点,也不建议用户在ECS管理控制台直接修改MRS集群节点。 如果手动在ECS管理控制台对集群节点执行停止ECS、删除ECS、修改或重装ECS操作系统,以及修改ECS规格的操作,可能影响集群稳定运行。 如果您对MRS集群节点进行了上述
要掌握现有集群的详细信息,以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图(包括峰值和均值流量等)。 识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。 数据在平台内各个组件间的流向,比如使
节点名配置错误。 防火墙禁用端口。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看该告警的备Manager服务器(即Peer Manager)IP地址。 以root用户登
统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
使用IE浏览器在Hue中执行HQL失败 问题背景与现象 使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败,界面提示“There was an error with your query.”。 原因分析 IE浏览器存在功能问题,不支持在307重定向中处理含有form