检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。
SQL调优 审视业务所用SQL语句是否存在可优化空间,包括: 分析数据分布是否有倾斜,对于大表数据是否平均分布在各个shard。 分析建表语句,查看是否有建立分区、一级索引、二级索引、排序键是否指定等。
Doris支持审计日志表功能 Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中,方便用户直接通过执行SQL语句对审计日志进行查看和分析,无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。
HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。 图1 HetuEngine跨源功能示意 跨源关键技术和优势 计算下推:在通过HetuEngine进行跨源协同分析时,为了提升访问效率,HetuEngine从如下所示维度增强了计算下推的能力。
已创建分析集群。 操作步骤 将业务数据上传到用户的OBS文件系统。 获取用户的AK/SK信息,然后创建一个OBS连接和一个HDFS连接。 具体可参见Loader连接配置说明。 访问Loader页面。 如果是启用了Kerberos认证的分析集群,可参见访问Hue WebUI界面。
开发指南 获取MRS二次开发样例工程 通过Flink分析网页停留时间 通过HBase管理企业用户信息 HDFS文件操作 Hive数据分析应用 Impala应用开发 Kafka消息发布及订阅 Kudu应用开发 MapReduce应用开发 Oozie离线分析网站日志 通过Spark分析网页停留时间
针对时序场景,对存储数据进行预计算和存储,提升分析场景的性能。
快速使用Doris Doris是一个基于MPP架构的高性能、实时的分析型数据库,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 本文主要通过示例介绍如何快速使用MRS Doris集群进行基本的建表和查询操作。 Doris数据库名和表名区分大小写。
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。
MRS应用开发简介 MRS应用开发概述 MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
Doris冷热分离介绍 在数据分析的实际应用场景中,冷热数据经常有不同的查询频次及响应速度要求。
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。
节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点实例规格越高,容量越大,集群运行速度越快,分析处理能力越强,相应的成本也越高。 在集群的基本信息页面,单击“前往Manager”,跳转至MRS集群管理页面。 用户可在集群管理页面查看和处理告警信息、修改集群配置等。
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。