大数据Apache Druid（二）：Druid数据结构及架构原理

上图中描述了Druid集群内部实时/批量数据写入以及查询的请求过程。当实时数据达到Realtime Node后，在时间窗口内的数据会停留在RealTime Node内存中，而时间窗口外的数据会组织成Segment存储到Deep Storage中，同时Segment的元数据信息会被注册到元数据库中（这里是MySQL）

《R数据科学实战：工具详解与案例分析 》 —1.6　pdftools—PDF文件

数，一个用来从PDF中提取数据（此处的数据包括数字型和文字型数据），另一个则用来将文件渲染成PDF格式。本节我们只讨论第一个母函数—pdf_info。pdf_info函数下面一共包含6个子函数，功能各不相同，详见表1-15。但是6个子函数的参数完全一致，分别是pdf、opw和up

大数据平台架构解析——以讯飞大数据平台Odeon为例

数据通道：SQL、NoSql数据库及日志多源数据接入与导出 数据管理：完善的元数据管理、数据质量标准管理体系，同时具备完整的数据隔离及授权机制 数据分析：支持离线批处理、流式计算、OLAP、AdHoc等多种计算方式 数据服务：基于Greenplum和Kylin的数据服务架构，提供DaaS（数据即服务）服务

三大存储及数据库详解

大数据Flink进阶（二）：数据架构的演变

有Lambda架构之外，还有Kappa架构、混合架构及湖仓一体架构，以上各个架构都是在大数据不同时期针对公司业务数据分析场景提出的，都是解决企业数据分析过程中业务痛点问题的架构。 四、有状态流计算架构 Lambda架构中针对实时数据处理我们可以使用Spark计算框架进行分析，Sp

微机原理：CPU架构详解

分别存储指令和数据，每个存储模块都不允许指令和数据并存，以便实现并行处理。改进型哈佛结构具有一条独立的地址总线和一条独立的数据总线，利用公用地址总线访问两个存储模块（程序存储模块和数据存储模块），公用数据总线则被用来完成程序存储模块或数据存储模块与CPU之间的数据传输，两条总线由程序存储器和数据存储器分时共用。

大数据Kudu（二）：Kudu架构

删除的数据彻底删除，另外也减少了文件数，提升索引效率。 经过以上了解Kudu数据存储实现的原理，我们可以知道Kudu中写入数据时优先写入内存，可以加快数据插入效率；数据在磁盘中存储在DiskRowSet中，有主键，DiskRowSet结构类似parquet结构，可以保证数据扫描分

大数据NiFi（二）：NiFi架构

NiFi架构 一、​​​​​​​NiFi核心概念 NiFi的基本设计理念是基于数据流的编程Flow-Based Programming（FBP），应用是由处理器、连接器组成的网络。数据进入一个节点，由该节点对数据进行处理，根据不同的处理结果将数据路由到后续的其他节点进行处理。这是

【大数据系列】带你了解 HBase 数据模型和 HBase 架构

# HBase 架构：HBase 数据模型 众所周知，HBase 是一个面向列的 NoSQL 数据库。虽然它看起来类似于包含行和列的关系数据库，但它不是关系数据库。关系数据库是面向行的，而 HBase 是面向列的。那么，让我们首先了解面向列和面向行的数据库之间的区别： 面向行与面向列的数据库：

数据中心网络架构 — 新型大二层网络架构

目录 技术背景 数据中心的东西流量成为了主流 服务器虚拟化带来的虚拟机迁移问题 大二层网络架构 大二层网络架构的问题 技术背景 数据中心的东西流量成为了主流 早期数据中心的流量有 80% 为南北向流量（Nor

数据架构建设方法及案例

数据架构的本质是数据模型和数据流(或叫数据分布)，《华为数据之道》将数据架构分为数据资产目录、数据标准、数据模型及数据分布，DAMA将数据架构分为数据模型和数据流设计，差不多就是这个意思。但数据架构到底如何构建?有没有现成的案例可以参考呢?今天就结合企业管理信息域MSS具体案例跟

数据中心网络架构 — 数据中心

物智能的智能社会。 数据中心作为构建数字化社会的信息基石，成为了新的生产力，承担着各类应用的数据存储、数据分析与数据计算的重任。在万物智联时代，数据就是生产要素，算力就是生产力。 因此数据中心聚焦于对数据的高效处理，这种处理能力通常称之为 “算力”。数据中心量纲也从原有的资源

OpenGauss 透明数据加密详解

Gauss 的透明数据加密采用了对称加密算法，对数据进行加密和解密。在数据写入数据库时，OpenGauss 会自动对数据进行加密，并将加密后的数据存储在数据库文件中。在数据读取时，OpenGauss 会自动对加密数据进行解密，并将解密后的数据返回给用户。透明数据加密的密钥管理是通

详解欧盟《数据法（提案）》

允许用户获取数据，且在书面合同中与用户明确约定数据可携的权利。其次，数据服务提供商使用非个人数据应基于合同约定。再次，数据持有者承担着应用户请求，向第三方提供数据的义务。在用户不是数据主体的情况下，数据持有者在转移数据主体的个人数据时，应先取得数据主体同意。此外，数据持有者不应将

数据中心网络架构 — 胖树型（Fat-Tree）网络架构

Fat-Tree 的另一个好处是，它用到的所有交换机都是相同的，这让我们能够在整个数据中心网络架构中采用廉价的交换机。 Fat-Tree 是一种无带宽收敛的网络架构 相对于传统的三层网络架构，Fat-Tree 是无带宽收敛的。传统的树形网络拓扑中，带宽是逐层收敛的，树根处的

大数据计算架构的演进

效解决超大规模数据存储问题。3、数据本地化（data locality）       数据均衡的存储在每个硬盘上，数据处理任务从远程物理机获取数据开销大。以数据为“中心”，将数据处理任务迁移到数据所在的物理机上，能有效降低网络带宽，保证了整体性能。计算存储耦合架构       技

EF Core 管理数据库架构

EF Core 模型和数据库架构同步。至于我们应该选用哪个方法，请确定你是希望以 EF Core 模型为准还是以数据库为准。如果希望以 EF Core 模型为准，请使用迁移。 对 EF Core 模型进行更改时，此方法会以增量方式将相应架构更改应用到数据库，以使数据库保持与 EF Core

MPP架构下数据倾斜率分析

MPP架构下处理海量数据，需要各位参与者时刻关注并行处理能力，若无法发挥并行能力，再大的集群也无法发挥其处理能力，可能还会出现用户质疑集群处理能力。作为数据库使用者，特别是高阶使用人员、运维监控人员，需要即时发现系统隐患。 本文是从数据表的数据分布角度探讨，发现有害倾斜，优化系统表数据分布。 1