云数据仓库数据湖分析

2023-05-27 18:21:53

数据湖 分析 整合数据资源，构建 大数据 平台，发现数据价值，成为企业经营的新趋势和迫切诉求。DWS Express可直接对存储在 对象存储OBS 上的大数据平台集成、处理后的数据进行分析 优势 统一分析入口 以DWS的SQL作为上层应用的统一入口，应用开发人员使用熟悉的SQL语言即可访问所有数据 实时交互式分析 针对即时的分析需求，分析人员通过DWS Express，可实时从大数据平台中获取信息 弹性伸缩 客户可使用DWS Express提供的由成百上千节点组成的加速集群，相比本地托管集群，效率提升数百倍。 建议搭配使用： 数据湖探索 DLI、 MapReduce服务 、数据湖治理中心 DGC

大数据平台 数据湖 优势 实时 效率

云数据仓库传统数仓替换

2023-05-27 18:21:53

传统数仓替换 传统 数据库 或数仓产品面临数据存不下、查不出、扩容难、成本高的痛点。GaussDB(DWS)作为新一代全场景 数据仓库 ，具备极致性能、高扩展、极简易用、一站式分析等特性，满足大数据时代企业构建新型数仓的需求。 优势 平滑 迁移 提供配套的迁移工具，可支持Teradata、Oracle/Exadata、Greenplum等数据分析系统的平滑迁移 完备的数据库及SQL能力 支持SQL 2003标准，兼容Oracle/Teradata的部分语法和数据结构，支持全局事务、存储过程、数据强一致性保证 库仓一体 逻辑集群，支持一套集群容纳 数据集 市、数据仓库 建议搭配使用： 数据接入服务 DIS、 云数据迁移 CDM 、数据湖治理中心 DGC

数仓 数据仓库 大数据 数据湖 传统

认识云数据仓库 GaussDB(DWS)

2023-05-27 18:21:53

一站式分析 4+1，库/仓/市/湖/+IoT， 一体化 ；仓湖一体，融合(OBS)、协同(HDFS)；一库两用，HTAP混合负载 超大规模 全球最大金融数仓(工行)，单集群480节点，装机20PB；首家信通院2048节点集群认证 成功案例 全球1700+客户，全行业覆盖；国内最多替换TD/Exadata成功案例；工行/招行/国网/一汽/梦饷/兴盛优选 全场景部署 华为云、客户机房(IDC)、边缘站点各种部署场景全覆盖；架构一致、功能一致、体验一致 生态兼容 兼容TD/Oracle/PG/MySQL生态；支持存储过程/触发器/序列/用户自定义函数/窗口函数等

生态 一体 案例 架构 行业

数据湖探索电商行业

2023-05-27 18:21:53

精准营销 电商行业需要获取多个途径的信息做关联分析，以便更好地做精准营销，提高转化率。如：关联【页面广告点击事件数据】和【用户注册数据】，获取不同年龄段喜欢的广告类型，以便对不同年龄段用户投放更精准的广告 优势 跨源分析 数据免搬迁，就可以关联分析存在OBS中的【页面广告点击事件数据】和RDS中的【用户注册数据】 纯SQL操作 DLI已对接多个数据源，直接通过SQL建表就可以完成数据源的映射 建议搭配使用： 对象存储服务 OBS、数据接入服务DIS

精准 转化率 建表 数据 数据源

MapReduce服务大数据上云

2023-05-27 18:21:53

线下大数据平台迁移上云 快速将自建大数据平台（IDC、CDH、Hortonworks等）平滑搬迁上云或将其他大数据 云服务 平台平滑迁移至MRS，将客户业务和数据一次性搬迁到云上大数据服务MRS中，并基于云上环境快速构建云下系统，满足客户未来业务快速增长需求 优势 计算存储分离 MRS具备计算存储分离的先进架构，鲲鹏加持，多核高性价比 统一数据存储 再无数据孤岛，一份数据，多种计算引擎, 实现一份数据服务多个业务、跨业务数据可连接、可分析、可共享 灵活弹性伸缩 资源灵活配比，可以选择多种计算和存储资源进行组合，按需自动弹性伸缩，大大降低上云成本 完全兼容 开源 100%兼容开源生态接口，存算分离 数据迁移 ，支持屏蔽OBS接口，业务无感知，客户业务代码“0”改动 搬迁简单快速 搬迁工具齐全，简单快速完成无业务中断迁移方案 场景适用服务：MapReduce服务 MRS、 对象存储 服务 OBS、云数据迁移 CDM

上云 大数据平台 大数据 架构 优势

园区智能体方案架构

2023-05-27 18:21:52

园区智能体方案架构 华为云EI园区智能体CampusGo通过对泛园区场景的多源、多模态数据进行采集和接入，基于灵活的云上或边缘部署架构，提供面向人、车、物以及事件的多维度感知、认知和决策能力，同时满足不同领域的客户需求 架构优势 多源数据接入 同时支持视频、IoT设备、语音、文本以及图片等不同维度的数据接入，提供标准化的数据接入方式和服务，保证数据接入安全可靠 多种部署架构 根据客户条件、建设目标、实施阶段等差异，提供公有云、混合云和边云协同的灵活部署能力 解决方案 适应性强 提供面向不同场景的多种智能分析算法原子能力，用户可根据业务需求进行灵活搭配，构建最合适的定制化解决方案 业务生态灵活开放 提供DIS、OBS和Web接口等多种业务对接模式，支持上层业务系统灵活对接，满足不同客户差异化诉求 建议搭配使用：数据接入服务 DIS、 视频接入服务 VIS、 智能边缘平台 IEF、对象存储服务 OBS、数据仓库服务 GaussDB(DWS)

边云协同 优势 能力 混合云 解决方案

数据治理中心数据治理

2023-05-27 18:21:52

业务痛点 各业务部门数据标准不统一 数据来龙去脉不清楚，质量得不到控制 数据开发找不到需要的数据，导致过多冗余 核心需求 制定统一数据标准，技术规范 控制数据质量，保证一致性、完整性、有效性等 快速定位数据，避免冗余存储 优势 一站式治理平台 一站式元 数据管理 、数据标准管理、数据质量管理、 数据安全 管理等 数据底座丰富 基于丰富的大数据平台组件进行治理，满足多种数据处理和分析需求。 智能辅助治理 借助人工智能、机器学习等技术，降低 数据治理 的手动工作量，提升数据管理效率。

质量 大数据平台 数据处理 安全管理 控制数据

数据治理中心数据共享交换

2023-05-27 18:21:52

业务痛点 业务部门间相互隔离，数据无法共享，信息孤岛情况严重 来自不同数据源的数据格式繁多，无法融合建模分析 数据与应用深度耦合，新应用开发困难，通用性差 核心需求 业务部门间，数据互联互通，信息共享共治 数据权限管理，不同用户提供不同数据访问权限 完善的安全方案防止数据泄露 优势 - 建设统一数据平台，打破数据孤岛，统一技术规范， 统一数据标准，统一访问接口，通过 智能数据湖 实现数据共享共治 - 统一数据安全体系，数据确权脱敏，数据密级管理， 数据申请权限管理。

孤岛 共治 业务部门 数据平台 数据安全

DLV可以做什么？

2023-05-27 18:21:52

数据可视化 （DLV）致力于用更生动、友好的形式，即时呈现隐藏在瞬息万变且庞杂数据背后的业务洞察。无论在零售、物流、电力、水利、环保、还是交通领域，通过交互式实时数据可视化视屏墙来帮助业务人员发现、诊断业务问题。 DLV提供丰富的可视化组件，除了针对业务展示优化过的常规图表外，还能够绘制包括海量数据的地理飞线、热力分布、地域区块、3D地图、3D地球，实现地理数据的多层叠加。此外还有拓扑关系等异形图表供您自由搭配。 DLV无缝集成华为云数据仓库服务、数据湖探索、关系型数据库、对象存储服务等，支持本地CSV、在线API及企业内部 私有云 数据；满足您各类大数据实时计算、监控的需求，充分发挥大数据计算的能力。 拖拽即可完成组件自由配置与布局、所见即所得，无需编程就能轻松搭建可视化大屏。 DLV特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规的拼接分辨率。创建的大屏能够发布分享，作为您对外数据业务展示的窗口。

数据可视化 洞察 地图 地理 实时

可信智能计算服务产品功能

2023-05-27 18:21:52

动态联盟管理 邀请华为云租户作为数据参与方， 动态构建 可信计算 联盟， 实现联盟内严格可控的数据使用和监管。 可信计算节点 参与方使用数据源计算节点实现自主可控的数据源注册、隐私策略（脱敏、加密）设定、元数据发布等，为数据源计算节点提供全生命周期的可靠性监控、运维管理。 联邦SQL分析 支持标准SQL语法，对接多种主流数据存储系统，为数据消费者实现多方数据的融合分析，参与方敏感数据能够在具有TEE或MPC安全支撑的聚合计算节点中实现安全计算。 多方联合建模 对接主流深度学习框架实现横向和纵向联邦建模，支持基于TEE或MPC(如不经意传输、同态加密等)的多方样本对齐和训练模型保护。 云端容器化部署 参与方数据源计算节点 云原生 容器部署，聚合计算节点动态扩容，支持云、边缘、混合云多种部署模式。 可视化数据监管 为数据参与方提供可视化的数据使用流图，提供插件化的 区块链 对接存储，实现使用过程的可审计、可追溯。

参与方 云端 流图 计算 数据

云数据仓库无缝对接Hadoop

2023-05-27 18:21:52

GaussDB(DWS)可以无缝对接HDFS存储，通过外表机制，能够交互式查询分析Hadoop平台的数据，支持ORC/txt/csv/Parquet等文件格式，提供大数据分析能力。 基于Shared-nothing/MPP的对等并行计算模型可以充分利用CPU/IO/Mem等资源，获得极致的运算性能和线性的可扩展性，从而支持PB级数据规模。 1.兼容标准SQL SQL兼容SQL92/99/2003标准，支持存储过程，降低应用开发成本和迁移成本。 2.完备的事务支持 支持HDFS平台通用的ORC格式数据增删改，提供大数据平台互联互通能力。基于MVCC、两阶段提交分布式事务管理技术，支持ACID全事务能力。采用Smart Insert行列存混合存储引擎，支持数据智能分配存储，支持高速数据更新。 3.交互式的性能体验 基于MPP全并行异步Pipeline分布式执行框架，向量化执行引擎，谓词下推智能过滤扫描，LLVM等关键技术，实现内核引擎极致性能，支持高性能交互式查询分析。

性能 高性能 引擎 分布式 充分利用

云数据仓库GDS工具

2023-05-27 18:21:52

GaussDB(DWS)提供GDS（Gauss Data Service）工具，可以高效地进行文本数据导入导出。 如图，GDS服务器部署于集群每个物理节点上，可以实现数据的并行导入/导出，单机速度可达700MB/s。 图片 基于GDS的数据并行导入/导出 https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/hjm/dwssjdr.jpg 此外，借助外表数据封装器（Foreign Data Wrapper，简称FDW），不同的集群之间可以互相访问数据，例如在GaussDB集群A中访问GaussDB集群B中的数据。结合GDS，可以实现跨集群数据一键式高速迁移。如下图所示，通过GDS在两个集群之间形成高效的实时数据中转通路，将数据从源集群导出，不经落盘直接导入目标集群。 图片 用GDS实现跨集群数据迁移 https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/hjm/dwssjdr1.png 其技术特点是： 使用方便简洁，一条SQL启动迁移业务（INSERT INTO … SELECT … FROM … [WHERE];）。 性能高效，充分利用两端集群所有节点算力。 中间数据不落盘，不占用磁盘空间。 可以满足：GaussDB(DWS)集群间全量数据迁移同步、GaussDB(DWS)集群间过滤条件数据迁移同步等场景的性能需求。

gds 数据迁移 集群 数据 迁移

云数据仓库透明安全技术

2023-05-27 18:21:52

GaussDB(DWS)支持对数据进行透明加密，加密解密的过程用户无感知。每个集群有一个CEK（集群秘钥），每个数据库采用单独配置的DEK（数据库加密密钥）加密保护，DEK使用CEK加密保护，保证秘钥安全。密钥通过Kerbores服务申请和加解密，加密算法通过配置项统一配置。目前支持AES、SM4算法，其中SM4算法在hi 1620以上版本芯片中支持硬件加速。 大数据中蕴藏巨大价值的同时，也带来了隐私信息保护方面的问题。GaussDB(DWS)支持客户以表的列为单元创建脱敏策略，客户可针对业务中的敏感数据进行策略创建，敏感数据的界定由客户结合自身业务场景识别。制定脱敏策略后，只有管理员和表对象的owner才能访问原始数据。同时，脱敏的数据可以参与实际运算及使用，仅在数据库服务最终返回结果时脱敏。 以图为例，用户数据中每个人员的工资、email和手机号码均为敏感数据，包含了用户的隐私信息，如果明文显示，将会暴露用户的隐私，带来一系列问题。经过透明脱敏处理后，普通用户查看到的数据均被掩码显示，从而保护了用户的隐私。 图片 数据脱敏效果 https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/hjm/dwshxjs4.png 数据脱敏的关键技术如下： 策略可配置 客户可结合自身业务场景识别敏感数据并使用DDL在表的指定列创建脱敏策略。 策略可扩展 内置数值、字符、时间类型脱敏函数，支持用户自定义脱敏函数。 访问控制 制定脱敏策略后，只有管理员和表对象的owner才能访问原始数据。 数据可用性 脱敏数据可以参与实际运算及使用，仅在最终返回结果时脱敏。

脱敏 敏感数据 加解密 明文 解密

云数据仓库全并行计算

2023-05-27 18:21:52

GaussDB(DWS)实现了一套高效能的分布式执行引擎，充分利用集群中各节点的资源，发挥并行计算的极致性能。 图片 GaussDB(DWS)的全并行计算 https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/hjm/dwshxjs.png 如图，GaussDB(DWS)的全并行计算核心技术如下： MPP节点并行 分布式执行框架，VPP用户态TCP协议，支持>1000服务器，万级CPU核并行计算。 SMP（Symmetric Multi-Processing）算子并行 采用多线程并行算法执行同一个SQL，充分利用多核CPU资源，支持众核(>64 cores)，NUMA架构优化。 SIMD（Single Instruction Multiple Data）指令级并行 一个指令执行一批数据的操作，支持X86，ARM指令。 LLVM（Low Level Virtual Machine）动态编译 将热点函数预编译成机器码，减少SQL执行指令数，提升性能。

充分利用 并行算法 x86 众核 指令

实时流计算服务实时流分析场景

2023-05-27 18:21:52

实时流分析场景 提供易用、低时延、高吞吐的实时流分析服务。支持Stream SQL和用户自定义作业做流分析 优势 易用 在线编辑Stream SQL，丰富的SQL函数满足复杂业务需要 完全托管 用户完全不感知计算集群，聚焦流分析本身 按需计费 作业选定SPU资源量，按时长计费，精确到秒 建议搭配使用：对象存储服务 OBS、数据接入服务 DIS

数据接入服务 实时 计算 优势 stream
共11197条

为您推荐

华为云服务 GaussDB数据库 国外域名注册商 消息短信平台 云服务平台登录入口 云服务器活动 云专线平台DC GaussDB