检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业,用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生
步骤2:准备应用程序:准备用于进行分析的源数据及程序。 步骤3:上传jar包及源数据:将相关程序和数据上传至MRS集群内。 步骤4:运行作业并查看结果:运行程序并查看数据分析结果。 步骤1:创建MRS集群 创建并购买一个包含有Spark2x、Kafka组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS
使用JDBC接口提交数据分析任务 功能介绍 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下:
使用JDBC接口提交数据分析任务 功能介绍 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下:
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具,可将结构化的数据文件映射成一张数据库表,并提供类SQL的功能对数据进行分析处理,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 背景信息
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具,可将结构化的数据文件映射成一张数据库表,并提供类SQL的功能对数据进行分析处理,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,适合用于数据仓库的统计分析。 背景信息
导您创建MRS集群后,使用Hive对原始数据进行导入、分析等操作,展示了如何构建弹性、低成本的离线大数据分析。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理
步骤2:准备应用程序:准备用于进行分析的源数据及程序。 步骤3:上传jar包及源数据:将相关程序和数据上传至MRS集群内。 步骤4:运行作业并查看结果:运行程序并查看数据分析结果。 步骤1:创建MRS集群 创建并购买一个包含有Kafka组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0
可通过SHOW TABLES命令进行查询,确认所需删除的表是否成功被删除,详见SHOW TABLES。 父主题: CarbonData数据分析
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统
gint。 可以使用DESCRIBE格式化命令查看表数据大小和表索引大小。 操作结果 根据命令创建表。 父主题: CarbonData数据分析
HDFS路径可以配置在carbon.properties文件中。 具体请参考CarbonData常见配置参数。 父主题: CarbonData数据分析
除了,该列不会再创建inverted index。但是旧的INVERTED_INDEX配置值不会变化。 父主题: CarbonData数据分析
载集群客户端。 在“下载集群客户端”弹窗中填写集群客户端下载信息。 图3 下载集群客户端 “选择客户端类型”中选择“完整客户端”。 “选择平台类型”必须与待安装节点的架构匹配,以“x86_64”为例。 勾选“仅保存到如下路径”,填写下载路径,本示例以“/tmp/FusionIns
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
同一区域进行。 集群名称 待创建的MRS集群名称。 mrs_demo 集群类型 待创建的MRS集群类型。 选择“分析集群”,用来做离线数据分析。 版本类型 待创建的MRS集群版本类型。 选择“普通版”。 集群版本 待创建的MRS集群版本。 选择“MRS 3.1.0”。 说明: 本实践仅适用于MRS
应用场景 大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源,接入后需要对数据进行ETL(Extract-Tran
tbl1 limit 10 INTO OUTFILE "file:///home/work/path/result_"; 父主题: Doris数据分析