数据仓库服务_云原生数据仓库数据仓库搭建-华为云

特惠专区

免费体验中心

华为云企业邮箱优惠

[快速入门]数据仓库服务
[相关产品]数据仓库服务
[相似文章]数据仓库服务

使用JDBC驱动连接GaussDB(DWS)进行二次开发，熟悉简单的适配DWS的Java开发用例。开始实验性能调优掌握通过EXPLAIN语句查询执行计划的方法，了解GaussDB(DWS)几种常见的SQL调优手段。开始实验快速入门一键式创建GaussDB(DWS)集群，上传csv本地

数据仓库服务应用场景_数据仓库服务客户案例_GaussDB(DWS)

GaussDB(DWS)场景与案例 GaussDB(DWS)场景与案例标准数仓、实时数仓、云数仓等多种产品形态，覆盖政府、金融、企业、教育、通信、互联网等各种行业的各种应用场景。标准数仓、实时数仓、云数仓等多种产品形态，覆盖政府、金融、企业、教育、通信、互联网等各种行业的各种应用场景。

数据仓库服务 GaussDB(DWS)功能

户可以快速申请集群，轻松执行数据仓库管理任务，专注于数据和业务。集群管理的主要功能如下： 1)创建集群如果用户需要在云上环境中使用数据仓库服务，首先应创建一个GaussDB(DWS)集群。用户可根据业务需求选择相应的产品规格和节点规格快速创建集群。您也可以先购买包年/包月折扣套餐，然后再创建集群。

数据仓库服务 GaussDB(DWS)定价

计费说明云数据仓库 GaussDB(DWS) 定价新一代、全场景数据仓库，一站式分析，性能、容量无限扩展，守护高价值数据、创享高价值分析，企业数字化转型坚实伙伴价格计算器专家咨询计费项华为云GaussDB(DWS) 根据您选择的数据仓库节点规格及使用的相关资源进行计费。

数据仓库服务 GaussDB(DWS)资源

云数据仓库 GaussDB(DWS) 资源云数据仓库 GaussDB(DWS) 资源新一代、全场景数据仓库，一站式分析，性能、容量无限扩展，守护高价值数据、创享高价值分析，企业数字化转型坚实伙伴新一代、全场景数据仓库，一站式分析，性能、容量无限扩展，守护高价值数据、创享高价值分析，企业数字化转型坚实伙伴

数据仓库服务 GaussDB(DWS)数据备份恢复

数据仓库服务 GaussDB(DWS)备份恢复 GaussDB(DWS)提供了多层次、多类型的备份/恢复方案，无惧误删，让您的数据更安全。技术特点: 支持多种介质支持备份集群数据库到磁盘、OBS、爱数、NBU等多种存储方式。支持全量+增量备份支持全量物理备份，差异增量，累积增量等多种类型备份。

数据仓库服务 GaussDB(DWS)兼容性

数据仓库服务 GaussDB(DWS)兼容性 GaussDB(DWS)采用开放性的设计理念，不但支持标准数仓功能，还致力于融合大数据平台、与云原生服务互联互通。无缝对接Hadoop GaussDB(DWS)可以无缝对接HDFS存储，通过外表机制，能够交互式查询分析Hadoop平

数据仓库服务GaussDB(DWS)核心技术介绍

数据仓库服务 GaussDB(DWS)核心技术 GaussDB(DWS)采用分布式shared-nothing集群架构，支持行列混合存储计算，集成高可用、高可靠、高安全、高可扩展、智能化技术栈。 Shared-nothing架构 GaussDB(DWS)各个数据库实例（DN）拥有

数据仓库服务 GaussDB(DWS)产品架构_技术特点

数据仓库服务 GaussDB(DWS)产品架构介绍GaussDB(DWS)的产品架构、集群逻辑架构和技术特点。产品架构 GaussDB(DWS)由数据库内核部分及一系列相关工具组成，其产品架构如图1-1所示。图 1-1 GaussDB(DWS)产品架构 GaussDB(DWS)支持标准ANSI

[相关产品]数据仓库服务

永洪BI-小微企业永久版(HCS版)

nse商品服务监管流程进行交付。注2：此商品为软件License，企业需要另行购买虚拟机、网络部署软件；此商品需配套华为云数据仓库服务进行使用，数据仓库服务规格需企业根据实际业务需求另行购买；此商品不包含前端数据ETL工具，企业根据业务需求自行购买配置。注3：服务可以通过云市场商品“Yonghong

永洪BI-中型企业版

永洪BI-大型企业版

永洪BI-小微企业版(HCS版)

se商品服务监管流程进行交付。注2：此商品为软件License，企业需要另行购买虚拟机、网络部署软件；此商品需配套华为云数据仓库服务进行使用，数据仓库服务规格需企业根据实际业务需求另行购买；此商品不包含前端数据ETL工具，企业根据业务需求自行购买配置。注3：服务可以通过云市场商品“Yonghong

数据仓库服务GaussDB(DWS)_SQL on Anywhere

数据仓库服务_SQL on Anywhere 数据仓库服务GaussDB(DWS)_SQL on Anywhere 华为云数据仓库服务-SQL on Anywhere 华为云数据仓库服务-SQL on Anywhere 数据仓库服务（Data Warehouse Service，

DWS安全_数据仓库服务安全_DWS数据安全管理_DWS安全保障_DWS安全策略

操作方式。如何给指定用户赋予某个SCHEMA的权限？给指定用户授权某个SCHEMA的权限的具体操作步骤。更多精选文章推荐什么是数据仓库服务GaussDB(DWS) 怎样选择弹性云服务器 ECS弹性云服务器如何实时查看日志？如何配置云日志告警？如何使用EIP？弹性公网IP有什么作用？

调用GaussDB(DWS) API接口_数据仓库服务调用API_如何调用API_在DWS中调用API

API接口数据仓库服务所提供的接口为自研接口，您可以使用数据仓库服务的可用区、集群管理、快照管理、事件管理、数据源、审计日志、资源管理、告警管理、连接管理、标签管理、配额管理、容灾管理、任务管理以及主机监控等功能。数据仓库服务所提供的接口为自研接口，您可以使用数据仓库服务的可用区

大数据分析学习与微认证

、处理以及分析。利用数据仓库服务，带您探索球星薪酬影响的决定性因素。了解详情【初级】球星薪酬决定性因素分析随着大数据、云计算的发展，数据规模也随之扩大，也更加关注数据的存放、处理以及分析。利用数据仓库服务，带您探索球星薪酬影响的决定性因素。数据仓库服务结合Python对球

大数据分析学习与微认证

。利用数据仓库服务，带您探索球星薪酬影响的决定性因素。数据仓库服务结合Python对球星薪酬进行分析，探索影响球星薪酬的决定性因素适合人群：对大数据技术感兴趣的人员，社会大众和高校师生培训方案：数据仓库服务结合球星薪酬决定性因素分析的实践技术能力：掌握数据仓库服务等云服务的使用，提高大数据分析能力

GAUSS(DWS)工具_gsql工具_DataStudio工具_DSC工具

据分析。数据在数据仓库服务中是否安全？安全。在大数据时代，数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用，下不碰数据”的承诺，保证用户核心资产的安全。这是我们对用户和社会的承诺，也是公有云及其伙伴商业成功的保障和基石。我们的数据仓库服务工程师对整个数据

DWS产品介绍_DWS产品优势_DWS功能_DWS使用场景_DWS是什么

GaussDB(DWS)热门视频看视频轻松了解和使用DWS 数据仓库服务产品介绍 04:38 数据仓库服务快速入门 03:29 DWS助力消费者BG大数据平台云化 05:30 数据仓库服务集群管理 05:30 数据仓库服务产品介绍 04:38 数据仓库服务快速入门 03:29 DWS助力消费者BG大数据平台云化

大数据应用范围有哪些_大数据技术与应用要学习什么课程

大数据分析系统包括哪些方面_大数据分析要满足什么条件

数据仓库服务

功能描述

DLI 将Flink作业从数据仓库服务（DWS）中读取数据。DWS 数据库内核兼容 PostgreSQL ，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。

数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。

前提条件

请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。
如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。
请确保已创建DWS数据库表。
该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
- 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。
- 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。
跨源认证简介及操作方法请参考跨源认证简介。

注意事项

创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的 OBS 桶，方便后续查看作业日志。

语法格式

   
        create table dwsSource (
  attr_name attr_type 
  (',' attr_name attr_type)* 
  (','PRIMARY KEY (attr_name, ...) NOT ENFORCED)
  (',' watermark for rowtime_column_name as watermark-strategy_expression)
)
with (
  'connector' = 'gaussdb',
  'url' = '',
  'table-name' = '',
  'username' = '',
  'password' = ''
);

参数说明

表1 参数说明
参数	是否必选	默认值	数据类型	说明
connector	是	无	String	connector类型，需配置为'gaussdb'。
url	是	无	String	jdbc连接地址。“url”参数中的ip地址请使用DWS的内网地址。使用gsjdbc4驱动连接时，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。使用gsjdbc200驱动连接时，格式为：jdbc:gaussdb://${ip}:${port}/${dbName}。
table-name	是	无	String	操作的DWS表名。如果该DWS表在某schema下，则具体可以参考如果该DWS表在某schema下的说明。
driver	否	org.postgresql.Driver	String	jdbc连接驱动，默认为: org.postgresql.Driver。使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。使用gsjdbc200驱动连接时，加载的数据库驱动类为：com.huawei.gauss200.jdbc.Driver。
username	否	无	String	DWS数据库认证用户名，需要和'password'参数一起配置。
password	否	无	String	DWS数据库认证密码，需要和'username'参数一起配置。
scan.partition.column	否	无	String	用于对输入进行分区的列名。注意：该参数与scan.partition.lower-bound、scan.partition.upper-bound、 scan.partition.num参数必须同时配置或者同时都不配置。
scan.partition.lower-bound	否	无	Integer	第一个分区的最小值。与scan.partition.column、scan.partition.upper-bound、 scan.partition.num必须同时配置或者同时都不配置。
scan.partition.upper-bound	否	无	Integer	最后一个分区的最大值。与scan.partition.column、scan.partition.lower-bound、 scan.partition.num必须同时配置或者同时都不配置。
scan.partition.num	否	无	Integer	分区的个数。与scan.partition.column、scan.partition.upper-bound、 scan.partition.upper-bound必须同时配置或者同时都不配置。
scan.fetch-size	否	0	Integer	每次从数据库拉取数据的行数。默认值为0，表示不限制。
pwd_auth_name	否	无	String	DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。

示例

该示例是从DWS数据源中读取数据，并写入到Print结果表中，其具体步骤参考如下：

在DWS中创建相应的表，表名为dws_order，SQL语句参考如下。

create table public.dws_order(
  order_id VARCHAR,
  order_channel VARCHAR,
  order_time VARCHAR,
  pay_amount FLOAT8,
  real_pay FLOAT8,
  pay_time VARCHAR,
  user_id VARCHAR,
  user_name VARCHAR,
  area_id VARCHAR);

在DWS中执行以下SQL语句，向dws_order表中插入数据。

insert into public.dws_order
  (order_id,
  order_channel,
  order_time,
  pay_amount,
  real_pay,
  pay_time,
  user_id,
  user_name,
  area_id) values
  ('202103241000000001', 'webShop', '2021-03-24 10:00:00', '100.00', '100.00', '2021-03-24 10:02:03', '0001', 'Alice', '330106'),
  ('202103251202020001', 'miniAppShop', '2021-03-25 12:02:02', '60.00', '60.00', '2021-03-25 12:03:00', '0002', 'Bob', '330110');

参考增强型跨源连接，根据DWS所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。
设置DWS的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据DWS的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。

参考创建Flink OpenSource作业，创建flink opensource sql作业，输入以下作业运行脚本，提交运行作业。该作业脚本将DWS作为数据源，Print作为结果表。

注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。

CREATE TABLE dwsSource (
  order_id string,
  order_channel string,
  order_time string,
  pay_amount double,
  real_pay double,
  pay_time string,
  user_id string,
  user_name string,
  area_id string
) WITH (
  'connector' = 'gaussdb',
  'url' = 'jdbc:postgresql://DWSIP:DWSPort/DWSdbName',
  'table-name' = 'dws_order',
  'driver' = 'org.postgresql.Driver',
  'username' = 'DWSUserName',
  'password' = 'DWSPassword'
);

CREATE TABLE printSink (
  order_id string,
  order_channel string,
  order_time string,
  pay_amount double,
  real_pay double,
  pay_time string,
  user_id string,
  user_name string,
  area_id string
) WITH (
  'connector' = 'print'
);

insert into printSink select * from dwsSource;

按照如下操作查看taskmanager.out文件中的数据结果。
1. 登录DLI管理控制台，选择“作业管理 > Flink作业”。
2. 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
3. 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。
数据结果参考如下：
```
+I(202103241000000001,webShop,2021-03-24 10:00:00,100.0,100.0,2021-03-24 10:02:03,0001,Alice,330106)
+I(202103251202020001,miniAppShop,2021-03-25 12:02:02,60.0,60.0,2021-03-25 12:03:00,0002,Bob,330110)
```

常见问题

Q：作业运行失败，运行日志中有如下报错信息，应该怎么解决？
```
java.io.IOException: unable to open JDBC writer
...
Caused by: org.postgresql.util.PSQLException: The connection attempt failed.
...
Caused by: java.net.SocketTimeoutException: connect timed out
```
A：应考虑是跨源没有绑定，或者跨源没有绑定成功。
- 参考增强型跨源连接章节，重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。

Q：如果该DWS表在某schema下，应该如何配置？

A：如下示例是使用schema为dbuser2下的表dws_order。

CREATE TABLE dwsSource (
  order_id string,
  order_channel string,
  order_time string,
  pay_amount double,
  real_pay double,
  pay_time string,
  user_id string,
  user_name string,
  area_id string
) WITH (
  'connector' = 'gaussdb',
  'url' = 'jdbc:postgresql://DWSIP:DWSPort/DWSdbName',
  'table-name' = 'dbuser2\".\"dws_order',
  'driver' = 'org.postgresql.Driver',
  'username' = 'DWSUserName',
  'password' = 'DWSPassword'
);

数据仓库服务常见问题

更多常见问题 >>

数据仓库服务

数据仓库服务基于华为FusionInsight LibrA企业级数据仓库内核，提供即开即用、可扩展且完全托管的分析型数据库服务。兼容PostgreSQL生态，您可基于标准SQL，结合商业智能工具，经济高效地挖掘和分析海量数据。
数据仓库服务价格

数据仓库服务（GaussDB(DWS) ）支持按需计费，同时您也可以选择更经济的包年包月套餐计费模式。华为云GaussDB(DWS) 根据您选择的数据仓库节点规格及使用的相关资源进行计费。
数据仓库服务架构

DWS基于Shared-nothing分布式架构，具备MPP大规模并行处理引擎，由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。
SFS的常见问题

SFS的常见问题解答。
数据仓库服务的优势

DWS数据库内核使用华为自主研发的GaussDB数据库，兼容PostgreSQL 9.2.4的数据库内核引擎，从单机OLTP数据库改造为企业级MPP（大规模并行处理）架构的OLAP分布式数据库，其主要面向海量数据分析场景。
数据仓库服务是否安全

在大数据时代，数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用，下不碰数据”的承诺，保证用户核心资产的安全。这是我们对用户和社会的承诺，也是公有云及其伙伴商业成功的保障和基石。

数据仓库服务教程视频

最佳实践视频帮助您快速了解搭建流程了解更多

数据仓库服务

特惠专区

免费体验中心

华为云企业邮箱优惠

数据仓库服务

功能描述

前提条件

注意事项

语法格式

参数说明

示例

常见问题

数据仓库服务常见问题

数据仓库服务教程视频

更多相关专题

更多精彩内容

7*24

备案

专业服务

退订

建议反馈

售前咨询热线

数据仓库服务

特惠专区

免费体验中心

华为云企业邮箱 优惠

数据仓库服务

功能描述

前提条件

注意事项

语法格式

参数说明

示例

常见问题

数据仓库服务常见问题

数据仓库服务教程视频

更多相关专题

更多精彩内容

7*24

备案

专业服务

退订

建议反馈

售前咨询热线

华为云企业邮箱优惠