已找到以下 10000 条记录
  • 2020-08-12:数据仓库是怎么分层

    Store)就是将各种数据源数据,经过清洗整理到这里这一层。一般涉及各种ETL工具,我们用时sqoop。DW(Data WareHouse),数据仓库层,指的是经过抽象,模块化数据,可以有训练好模型。APP(Application),应用层,在这一层制作各种报展示,提供各种对外开放中间件,例如ES,Spark等等。

    作者: 福大大架构师每日一题
    发表时间: 2020-08-19 11:21:43
    2788
    0
  • 七十八、Hive数据仓库实际操作(操作测试)

    Hive数据操作 Hive数据分为两种:内部和外部。 Hive创建内部时,会将数据移动到数据仓库指向路径;若创建外部,仅记录数据所在路径,不对数据位置做任何改变。在删除时候,内部元数据和数据会被一起删除,而外部只删除元数据,不删

    作者: 托马斯-酷涛
    发表时间: 2022-05-25 15:22:20
    375
    0
  • 一篇文章搞懂数据仓库:元数据分类、元数据管理

    ”数据”背后业务含义 主题定义:每段 ETL、背后归属业务主题。 业务描述:每段代码实现具体业务逻辑。 标准指标:类似于 BI 语义层、数仓一致性事实;将分析指标进行规范化。 标准维度:同标准指标,对分析各维度定义实现规范化、标准化。 不断进行维护且与业务方进行沟通确认。

    作者: 不吃西红柿
    发表时间: 2021-07-14 16:31:56
    4083
    0
  • GaussDB(DWS)开发设计规范 - 数据仓库服务 GaussDB(DWS)

    GaussDB(DWS)开发设计规范 GaussDB(DWS)总体开发设计规范 GaussDB(DWS)连接管理规范 GaussDB(DWS)对象设计规范 GaussDB(DWS) SQL开发规范 GaussDB(DWS)外功能开发规范 GaussDB(DWS)存储过程开发规范

  • DWS: PB级高性能企业数据仓库

    作者: 彩虹上的水瓶座
    8311
    28
  • 什么是数据仓库服务 - 数据仓库服务 GaussDB(DWS)

    Agent:负责监控所在主机上主备GTM、CN、主备DN运行状态并将状态上报给CM Server。同时负责执行CM Server下发仲裁指令。集群每台主机上均有CM Agent进程。 OM Monitor:看护CM Agent定时任务,其唯一任务是在CM Agent停止情况下将CM Agent重启。如果CM

  • 数据是如何存储到数据仓库服务

    能否讲解下数据是如何存储到数据仓库服务

    作者: 凌野
    46
    3
  • 写给数据分析师数据仓库知识(2)

    数据仓库知多少 首先,我们来了解一下数据仓库吧!数据仓库是一个面向主题、集成、相对稳定、反应历史变化数据集合。 我们来看这几个词: 面向主题,数据仓库会规划各种业务主题,所以我们需要理解各大主题范畴以及之间关系,这样就了解了数仓基本架构。集成,

    作者: 数据社
    发表时间: 2022-09-24 20:34:51
    138
    0
  • 元数据简介 - 数据治理中心 DataArts Studio

    按照传统定义,元数据(Metadata)是关于数据数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费全过程。元数据主要记录数据仓库模型定义、各层级间映射关系、监控数据仓库数据状态及ETL任务运行状态。在数据仓库系统,元数据可以帮助数据仓库管理员和

  • 一图看懂《金融数据仓库白皮书》

    作者: 华为云头条
    发表时间: 2022-11-21 12:21:49
    337
    0
  • 驾驭云数据仓库GaussDB(DWS),逐浪大数据时代

      在数据爆炸式增长的当下,数据仓库越来越发挥着基石一般作用,为数据分析、数据挖掘和AI应用提供数据存储和计算平台,越来越多企业也对大数据人才逐渐提出了更高要求和更严苛标准,市场对行业人才诉求也越发明显,但高端类人才供应远不能满足市场缺口。麦肯锡报告曾指出,美国企

    作者: Jennie_Huang
    发表时间: 2020-08-19 16:40:51
    5183
    0
  • 探索 GaussDB (DWS):强大分布式数据仓库

    在当今数据驱动时代,高效数据存储和处理解决方案至关重要。今天,我们将深入探讨 GaussDB (DWS),一款功能强大分布式数据仓库。GaussDB (DWS) 是华为推出一款高性能、高可靠、高安全分布式数据仓库产品。它旨在满足企业对大规模数据存储、分析和处理需求,为企业

    作者: 炒香菇的书呆子
    13
    3
  • 云上安全设计原则 - 安全与治理

    管理工作,保护IAM账号安全; 遵守最小授权原则,只授予用户组完成职责所需最小权限,如果用户组职责产生变化,应该及时调整用户组权限; 原则4:云原生安全 使用云服务场景多且复杂,与传统企业IT和安全所要求技能有很大差别,如果不能掌握足够技能,即使云服务供应商提供了

  • 设计 - 云数据库 GaussDB

    设计 总体上讲,良好设计需要遵循以下原则: 减少需要扫描数据量。通过分区剪枝机制可以大幅减少数据扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据连续存储,将随机I/O转换为连续I/O,从而减少扫描I/O代价。 选择分区方案 当数据量很大时,应当对进行分区,一般需要遵循以下原则:

  • Apache Doris 创始人:何为“现代化”数据仓库

    用。这些演变都对数据处理时效性、灵活性与效率提出更高要求。 在这样背景下,Doris 作为现代化统一数据仓库,能够有效应对多样分析场景。其 All-In-One 设计理念不仅简化了数据使用和管理,还使企业将精力从复杂数据基础设施管理转向上层数据应用。 01 湖仓无界

    作者: SelectDB技术团队
    发表时间: 2024-12-26 18:32:43
    0
    0
  • 通俗易懂讲数据仓库之【缓慢变化维】

    全分开来,在维度只保存当前最新数据。 用户维度 用户维度历史 这种方式优点是可以同时分析当前及前一次变化属性值,缺点是只保留了最后一次变化信息。 3. 数仓项目-拉链技术介绍 数据仓库数据模型设计过程,经常会遇到这样需求: 部分字段会被update,例如:

    作者: 大数据梦想家
    发表时间: 2021-09-28 14:46:24
    1542
    0
  • 【云享读书会-数据仓库工具箱】DAY01 数据仓库、商业智能及维度建模初步

    第三范式1)数据发布:业务用户要能理解发布数据2)查询性能:提供高效查询性能数据集市大部分都采用维度建模方式,而不会采用第三范式四、星型模型&多维数据库关键词:fact事实,cube多维模型,报维度模型事实用来存储企业或组织商业行为事件所产生可度量绩效结果。要点:1)事实行记录和度量

    作者: 真爱无敌
    发表时间: 2020-01-20 10:40:09
    3591
    0
  • 设计 - 云数据库 GaussDB

    设计 总体上讲,良好设计需要遵循以下原则: 减少需要扫描数据量。通过分区剪枝机制可以大幅减少数据扫描量。 尽量减少随机I/O。通过聚簇可以实现热数据连续存储,将随机I/O转换为连续I/O,从而减少扫描I/O代价。 选择分区方案 当数据量很大时,应当对进行分区,一般需要遵循以下原则:

  • 数据仓库服务公有云计费介绍

    本文介绍数据仓库服务公有云计费模型、计费场景以及套餐包使用规则。    数据仓库服务当前仅使用按需计费模式,主要有四种产生费用场景数据仓库节点,创建数据仓库虚拟机规格时产生费用,按照节点个数每个小时更新账单;数据仓库裸机节点,创建数据仓库裸机规格时产生费用,话单产生逻辑

    作者: 匿名用户群体
    1340
    1
  • 数据仓库、数据湖、数据平台和数据概念和区别

    向主题、集成、相对稳定、反映历史变化数据集合存储系统,它将来自不同来源结构化数据聚合起来,用于业务智能领域比较和分析,数据仓库是包含多种数据存储库,并且是高度建模数据仓库系统作用能实现跨业务条线、跨系统数据整合,为管理分析和业务决策提供统一数据支持。数

    作者: 小麦苗DB宝
    发表时间: 2022-04-06 09:42:06
    1429
    0