已找到以下 10000 条记录
  • 传统BI项目与数据仓库

    集市。我们所涉及的数据仓库其实更多的聚焦于分析层,但是整个BI项目的核心之一。分析层包括了对商业逻辑的数据建模,不仅要根据用户对可视化数据的展现要求,也要根据数据集市中数据分布、容量、业务种类多样性来综合设计。作为分析层中,提供分析数据物理存储基础就是数据仓库,仓库中的数据是经过聚合、清洗、分类以及映射过得clean

    作者: tony_sniper
    6754
    4
  • 实时数仓语法 - 数据仓库服务 GaussDB(DWS)

    实时数仓语法 CREATE TABLE INSERT DELETE UPDATE UPSERT MERGE INTO SELECT ALTER TABLE

  • 列存数据仓库怎样更高效

    很多数据仓库产品都采用了列式存储。如果数据表的总列数很多而计算涉及的列很少,采用列存就只读取需要的列即可,能够减少硬盘访问量,提高性能。特别是数据量非常大时,硬盘扫描和读取的时间占比很大,这时候列存的优势会很明显。 那么,是不是只要用了列存就一定能做到性能最佳呢?我们来看看,列式存储在哪些方面还可以做的更高效。

    作者: baidaguo
    发表时间: 2022-10-20 01:30:45
    523
    0
  • 数据库和数据仓库的差别

    索引等信息。广义上讲,在数据仓库中,元数据描述了数据仓库内数据的结构和建立方法的数据。 元数据是数据仓库管理系统的重要组成部分,元数据管理器是企业级数据仓库中的关键组件,贯穿数据仓库构建的整个过程,直接影响着数据仓库的构建、使用和维护。(1)构建数据仓库的主要步骤之一是ETL。这

    作者: 技术火炬手
    发表时间: 2017-10-11 16:43:40
    8594
    1
  • 实时数仓函数 - 数据仓库服务 GaussDB(DWS)

    实时数仓函数 hstore_light_merge(rel_name text) 描述:该函数用于手动对HStore表进行轻量化清理操作,持有目标表的三级锁。 返回值类型:int 示例: 1 SELECT hstore_light_merge('reason_select');

  • 使用greenplum-spark connect连接器遇到的坑

       我最近开发了一个maven项目,想使用spark读取/写入greenplum的数据,但是由于jdbc的传输速度限制。所以想采用greenplum-spark connect这个连接器。当我使用--jars将项目和这个依赖包一起提交上去的时候出现了jar包冲突 报错:clas

    作者: yd_235664071
    151
    3
  • Hive分布式数据仓库(1)

           Hive 是基于Hadoop构建的一套数据仓库分析系统,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapRe

    作者: 胡辣汤
    1371
    0
  • 主流数据仓库引擎技术比较

    数据库引擎 比较项目SybaseIQOracle10GDB2Teradata是否专门为分析型应用设计是否否是是否支持多种硬件平台是是是,多数性能指标的获得是基于IBM平台否是否支持多种操作系统是是是否原始数据膨胀情况原始数据的10%~70%,数据压缩无性能下降原始数据100%~5

    作者: JeffreyHuang
    发表时间: 2020-02-24 17:16:20
    8274
    0
  • 鲲鹏服务器麒麟V10 Greenplum 6.0.0 迁移

    README.md https://github.com/greenplum-db/gpdb/tree/5.21.0 官方文档 http://docs-cn.greenplum.org/v6/homenav.html Greenplum常见问题的分析与处理 https://cloud.tencent

    作者: TOTORO
    1187
    2
  • 请问现阶段greenplum能安装在taishan上面吗?

    请问现阶段greenplum能安装在taishan上面吗?官网有tar包不知道是否可以编译安装?

    作者: 祖传背锅
    2058
    1
  • 【DWS产品】数据仓库的使用求助

    在下新接触华为云,请问一下各位专家,我这边的需求是现有传统的OA,HR,ERP系统,这些系统的数据库在华为云RDS上,我们想搭建数据仓库将各个系统的数据抽到数据库仓库形成大宽表,后面提供给BI进行数据查询和展示。。请问下我需要用到华为云的哪些服务,购买哪些产品,哪些是必须的,哪些是可选的。。有没有实践案例可参考。谢谢

    作者: sulta
    7194
    6
  • 是否支持批量创建数据仓库

    <align=left>是否支持批量创建数据仓库?</align>

    作者: 54mali
    7321
    1
  • 数据挖掘:数据仓库相关知识笔记

    数据是反映历史变化的:主要表现三个方面,数据仓库随时间变化不断增加新的数据内容,定时获取OLTP数据库中变化的数据追加到数据仓库中去; 随时间变化不断删除旧的数据内容;数据仓库中包含大量综合数据会隔一段时间进行抽样处理等。 3、数据仓库的模式 主要有星型模式、雪花模式、事实星型模式。 4、数据仓库的体系结构

    作者: IT技术分享社区
    发表时间: 2023-01-07 14:17:41
    119
    0
  • Python量化数据仓库搭建系列2:Python操作数据库

    Python量化数据仓库搭建系列2:Python操作数据库 本系列教程为量化开发者,提供本地量化金融数据仓库搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源,将金融基础数据落到本地数据库。教程提供全套源代码,包括历史数据下载与增量数据更新,数据更新任务部署与日常监控等操作。

    作者: hailang
    发表时间: 2021-10-27 09:29:29
    959
    0
  • 金融数据仓库解决方案

    数据安全 实时数据分析 实时数据分析 移动互联网时代,金融业务会产生大量实时数据,为了快速获取数据价值,需要对数据进行实时分析,华为云DWS的快速入库和查询能力可支持实时数据分析 流式数据实时入库 IoT、互联网等数据经过流计算及AI服务处理后,可实时写入DWS。 实时监控与预测

  • 实时数仓GUC参数 - 数据仓库服务 GaussDB(DWS)

    实时数仓GUC参数 autovacuum 参数说明:控制是否启动数据库自动清理进程(autovacuum)。 参数类型:SIGHUP 取值范围:布尔型 on表示开启数据库自动清理进程。 off表示关闭数据库自动清理进程。 默认值:on autovacuum_compaction_rows_limit

  • 实时数仓GUC参数 - 数据仓库服务 GaussDB(DWS)

    实时数仓GUC参数 autovacuum 参数说明:控制是否启动数据库自动清理进程(autovacuum)。 参数类型:SIGHUP 取值范围:布尔型 on表示开启数据库自动清理进程。 off表示关闭数据库自动清理进程。 默认值:on autovacuum_max_workers

  • 订阅实时数仓Binlog - 数据仓库服务 GaussDB(DWS)

    全量同步source,再实时消费source端增量。 支持消费即清理:对于空间敏感且只关注实时同步与加工的客户,支持消费后即开始异步清理增量,有效减少空间使用。 利用Flink强大的实时处理能力和GaussDB(DWS)的Binlog能力,可以快速构建实时数仓,且无需维护其他组件

  • UPDATE - 数据仓库服务 GaussDB(DWS)

    功能描述 更新HStore表上指定的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项

  • DELETE - 数据仓库服务 GaussDB(DWS)

    功能描述 删除HStore表中的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项