检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 : Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说,具有很大的影响。在特定的数据格式的情况下,KryoSerializer的性
ALM-12099 发生core dump 告警解释 GaussDB A提供了core文件管理特性,对应用程序发生crash时产生的core文件进行统一的生命周期管理以及告警通知管理。当检测到有新的core文件产生时,会产生该告警。 该章节适用于MRS 3.1.5及之后版本。 MRS
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 : Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说,具有很大的影响。在特定的数据格式的情况下,KryoSerializer的性
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据,这样,CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。 命令格式 LOAD DATA INPATH 'folder_path'
使用Tableau访问MRS HetuEngine 应用场景 Tableau是一款商业智能工具软件,将可信的数据转化为可行的见解。借助直观的人工智能分析平台,帮助人们查看和理解数据并根据数据采取行动,让每一次决策都更加明智。 本章节以Tableau Desktop 2022.2版
Flume常用配置参数 MRS 3.x之前版本需在“properties.properties”文件中配置。 MRS 3.x及之后版本,部分参数可在Manager界面配置。 基本介绍 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端(MRS 3.x之前版本)
Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用MRS安装集群,主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定T
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列? 怎么通过客户端设置Map/Reduce内存? 如何在导入Hive表时指定输出的文件压缩格式?
为MRS集群用户绑定租户 操作场景 创建好的租户不能直接登录集群访问资源,管理员需要通过FusionInsight Manager为已有租户创建新用户,通过绑定租户的角色继承其操作权限,以满足业务使用。 该章节操作以MRS 3.x及之后版本集群为例进行说明。 前提条件 管理员已明确业务需求,并已创建了租户。
Flume常用配置参数 部分参数可在Manager界面配置。 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,
Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架,它主要的特点是:秒级时延和高吞吐量。因此Streaming调优的目标:在秒级延迟的情景下,提高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
Hive开源增强特性 Hive开源增强特性:支持HDFS Colocation HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。 Hive支持HD
恢复CDL业务数据 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对CDL进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对CDL进行恢复数据操作。 CDL的元数据存储在DBServi
Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架,它主要的特点是:秒级时延和高吞吐量。因此Streaming调优的目标:在秒级延迟的情景下,提高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
基于binlog的MySQL数据同步到MRS集群中 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序(https://maxwells-daemon.io),通过读取MySQL的binlog日