检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理
步骤1:创建MRS集群:创建一个包含有Kafka组件的MRS集群。 步骤2:准备应用程序:准备用于进行分析的源数据及程序。 步骤3:上传jar包及源数据:将相关程序和数据上传至MRS集群内。 步骤4:运行作业并查看结果:运行程序并查看数据分析结果。 步骤1:创建MRS集群 创建并购买一个包含有Kafka组件的MRS集群,详情请参见购买自定义集群。
复制到存储CarbonData文件的HDFS路径下供快速分析查询使用。 HDFS路径可以配置在carbon.properties文件中。 具体请参考CarbonData常见配置参数。 父主题: CarbonData数据分析
上述命令所创建的表的详细信息如下: 表1 表信息定义 参数 描述 productSalesTable 待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理
可通过SHOW TABLES命令进行查询,确认所需删除的表是否成功被删除,详见SHOW TABLES。 父主题: CarbonData数据分析
下载日志文件“over_log1.txt”并查看内容,与写入的日志文件“log1.txt”内容一致。 Test log file 1!!! 父主题: 数据分析
除了,该列不会再创建inverted index。但是旧的INVERTED_INDEX配置值不会变化。 父主题: CarbonData数据分析
tbl1 limit 10 INTO OUTFILE "file:///home/work/path/result_"; 父主题: Doris数据分析
IoTDB时序数据查询 跨源IT/OT数据统一分析 IoTDB可以借助HetuEngine提供的数据跨源分析能力,使用HetuEngine作为统一数据查询入口,也可以将IT数据和OT数据进行联合分析,提供复杂的IT和OT数据统一分析能力。 图2 跨源IT/OT数据统一分析 使用场景如下: 统一SQL入口
ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse核心的功能特性介绍如下:
应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。 IoTDB支持对接Grafana,对接成功后,即可通过Grafana丰富的图形报表展示能力,对IoTDB中的时序数据进行图形化展示,以分析时序数据的变化趋势等信息。 图1 Grafana对接IoTDB
手动将CSV离线数据导入至IoTDB 应用场景 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统,采用轻量式架构,具有高性能和丰富的功能。 IoTDB支持以下方式批量导入或导出数据: 批量导入数据:通过import-csv.sh离线方式进行数据的导入。
execution.time”可在“carbon.properties”文件中设置,表示一次查询允许花费的最长时间。 父主题: CarbonData数据分析
Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame),
HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEngine包含不同模块,整体结构如图1所示。
MemArtsCC基本原理 MemArtsCC是一款面向存算分离架构的分布式计算侧缓存系统,采用极轻量化的架构设计,部署在计算侧的集群中,通过智能预取远端对象存储上的数据提供高速缓存能力,从而来加速计算任务执行。 MemArtsCC在存储层面将远端对象存储(OBS)上的对象进行切片,
rbonData文件的HDFS路径下供快速分析查询使用。 HDFS路径可以配置在carbon.properties文件中。 CarbonData相关配置参数请参考CarbonData常见配置参数。 父主题: CarbonData数据分析
建议避免对历史数据进行minor compaction,请参考如何避免对历史数据进行minor compaction? 父主题: CarbonData数据分析
大分片数,默认为5。 label:用户手动指定的EXPORT任务label,如果不指定会自动生成一个label。 父主题: Doris数据分析