检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用外表功能实现GaussDB(DWS)集群间数据迁移 大数据融合分析场景下,支持同一区域内的多套GaussDB(DWS)集群之间的数据互通互访,本实践将演示通过Foreign Table方式从远端DWS导入数据到本地端DWS。
数据仓库类型 产品类型概述 存算一体:面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。
GaussDB(DWS)是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。
AI融合分析 AI服务对图像、文本等数据的分析结果可在GaussDB(DWS)中与其他业务数据进行关联分析,实现融合数据分析。
使用GaussDB(DWS)分析零售业百货公司经营状况 零售业百货公司样例简介 本实践将演示以下场景:从OBS加载各个零售商场每日经营的业务数据到数据仓库对应的表中,然后对商铺营业额、客流信息、月度销售排行、月度客流转化率、月度租售比、销售坪效等KPI信息进行汇总和查询。本示例旨在展示在零售业场景中
如果源数据已经被排序过,在执行融合连接时,并不需要再排序,此时Merge Join的性能优于Hash Join。 (Sonic) HashJoin 哈希连接,内外表使用join列的hash值建立hash表,相同值的必在同一个hash桶。
如果源数据已经被排序过,在执行融合连接时,并不需要再排序,此时Merge Join的性能优于Hash Join。 (Sonic) HashJoin 哈希连接,内外表使用join列的hash值建立hash表,相同值的必在同一个hash桶。
1.5h SQL on Hadoop 导入MRS-Hive数据源 创建数据仓库集群GaussDB(DWS),并导入MRS的Hive数据,实现跨集群进行大数据融合分析。
enable_mergejoin=on 控制优化器对融合连接规划类型的使用。 enable_indexscan=on 控制优化器对索引扫描规划类型的使用。 enable_indexonlyscan=on 控制优化器对仅索引扫描规划类型的使用。
enable_mergejoin=on 控制优化器对融合连接规划类型的使用。 enable_indexscan=on 控制优化器对索引扫描规划类型的使用。 enable_indexonlyscan=on 控制优化器对仅索引扫描规划类型的使用。
导入远端DWS数据源 大数据融合分析场景下,支持同一区域内的多套GaussDB(DWS)集群之间的数据互通互访,本实践将演示通过Foreign Table方式从远端DWS导入数据到本端DWS。
表1 实时数仓与标准数仓的差异 数仓类型 标准数仓(存算一体1:8云盘规格) 实时数仓(存算一体1:4云盘规格) 适用场景 融合分析业务,一体化OLAP分析场景。主要应用于金融、政企、电商、能源等领域。 实时入库+分析混合业务,上游数据实时入库+数据入库后实时高效查询场景。
DWS提供存算一体、存算分离多种产品形态,围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑业界第一数据仓库。详情请参见数据仓库类型。
表1 实时数仓与标准数仓的差异 数仓类型 标准数仓(存算一体1:8云盘规格) 实时数仓(存算一体1:4云盘规格) 适用场景 融合分析业务,一体化OLAP分析场景。主要应用于金融、政企、电商、能源等领域。 实时入库+分析混合业务,上游数据实时入库+数据入库后实时高效查询场景。
其他优化器选项 default_statistics_target 参数说明:为没有用ALTER TABLE SET STATISTICS设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量,为负数时,代表使用百分比的形式设置统计目标,负数转换为对应的百分比,
其他优化器选项 default_statistics_target 参数说明:为没有用ALTER TABLE SET STATISTICS设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量,为负数时,代表使用百分比的形式设置统计目标,负数转换为对应的百分比,
湖仓一体,又被称为Lake House,其出发点是通过数据仓库和数据湖的打通和融合,让数据流动起来,减少重复建设。Lake House架构最重要的一点,是实现数据仓库和数据湖的数据/元数据无缝打通和自由流动。
被复制的列并不使用相同的名字进行融合。如果明确的指定了相同的名字或者在另外一个LIKE子句中,将会报错。 HStore表只能从HStore表中进行继承。
云容器引擎-成长地图 | 华为云 数据仓库服务 GaussDB(DWS) 数据仓库服务(Data Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析
【融合统一】 一键湖仓:通过create external schema直接对接HiveMetaStore元数据,避免复杂的create foreign table操作,降低维护代价,详情参见跨集群访问HiveMetaStore元数据。