检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出ORC数据概述 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。
Studio软件配置 参数名称 配置方式 数据库类型 GaussDB(DWS) 名称 dws-demo 主机 dws-demov.dws.huaweicloud.com 与步骤一:创建集群查询到的“公网访问地址”一致。 端口 8000 数据库 gaussdb 用户名 dbadmin 密码
或者,您也可以先SSH远程登录到需要安装gsql的Linux主机,然后在Linux命令窗口,执行以下命令下载gsql客户端: wget https://obs.myhuaweicloud.com/dws/download/dws_client_8.x.x_redhat_x64.zip --no-check-certificate
通过内部网络访问集群数据库的域名地址,对应所有的内网IP地址,即所有CN的地址。内网访问域名在创建集群时自动生成。默认命名规则为:集群名称.dws.myhuaweicloud.com。 说明: 如果集群名称不符合域名规范,默认的访问域名前缀会相应做一些调整。 不支持负载均衡能力。 单击“修改”可以
//mvnrepository.com/artifact/com.huaweicloud.dws/dws-client。 1 2 3 4 5 <dependency> <groupId>com.huaweicloud.dws</groupId> <artifactId
浮点类型属于非精确,可变精度的数值类型。实际上,这些类型通常是对于二进制浮点算术(分别是单精度和双精度)的IEEE标准754的具体实现,在一定范围内由特定的处理器,操作系统和编译器所支持。 表3 浮点类型 名称 描述 存储空间 范围 REAL, FLOAT4 单精度浮点数,不精准。 4字节 6位十进制数字精度。
浮点类型属于非精确,可变精度的数值类型。实际上,这些类型通常是对于二进制浮点算术(分别是单精度和双精度)的IEEE标准754的具体实现,在一定范围内由特定的处理器,操作系统和编译器所支持。 表3 浮点类型 名称 描述 存储空间 范围 REAL, FLOAT4 单精度浮点数,不精准。 4字节 6位十进制数字精度。
UUID类型 UUID:通用唯一识别码(Universally Unique Identifier)是用于计算机体系中以识别信息的一个128位标识符。 UUID的作用是让分布式系统中的所有元素都能有唯一的辨识信息,而不需要通过中央控制端来做辨识信息的指定。很多应用场景需要一个ID
UUID类型 UUID:通用唯一识别码(Universally Unique Identifier)是用于计算机体系中以识别信息的一个128位标识符。 UUID的作用是让分布式系统中的所有元素都能有唯一的辨识信息,而不需要通过中央控制端来做辨识信息的指定。很多应用场景需要一个ID
N分区能力,示例: 需要在SQL中引入UDF。 CREATE temporary FUNCTION dn_hash AS 'com.huaweicloud.dws.connectors.flink.partition.DnHashFunction'; 正常写Source SQL。
LOGGED关键字,则创建的表为非日志表。在非日志表中写入的数据不会被写入到预写日志中,这样就会比普通表快很多。但是非日志表在冲突、执行操作系统重启、强制重启、切断电源操作或异常关机后会被自动截断,会造成数据丢失的风险。非日志表中的内容也不会被复制到备服务器中。在非日志表中创建的
已准备表1所列的迁移工具:DSC、DataCheck。 DataCheck运行环境满足以下要求: 服务器:Linux或Windows服务器,支持64位操作系统。 JRE或JDK:系统已安装JRE 1.8。 网络环境:安装、运行DataCheck工具的服务器,需要与待连接的数据库的网络互通。 表1
管理UNLOGGED表 UNLOGGED表即非日志表。在非日志表中写入的数据不会被写入到预写日志中,这样就会比普通表快很多。但是非日志表在冲突、执行操作系统重启、强制重启、切断电源操作或异常关机后会被自动清理,会造成数据丢失的风险。非日志表中的内容也不会被复制到备服务器中。在非日志表中创建的索引也不会被自动记录。
载目录,提升Flink作业入库DWS的能力。 浏览器访问https://mvnrepository.com/artifact/com.huaweicloud.dws。 在软件列表中选择最新版本的DWS Connectors Flink,本实践选择DWS Connector Flink
什么是数据仓库服务 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/T
基本概念 GaussDB(DWS)的管理概念 集群 表示由多个节点组成的服务器群组。GaussDB(DWS)以集群为单位进行组织,一个GaussDB(DWS)集群由多个在相同子网中的相同规格的节点组成,共同提供服务。 节点 每个GaussDB(DWS)集群部署节点取值范围为3~2
实例管理 实例管理概述 数据迁移功能采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可互相访问。其中实例管理通过购买GDS-Kafka实例帮助用户创建、管理集群。GDS-Kafka的工作方式是从Kafka中消耗数据并缓存,当达到设置好的时间或数据量之后,
FOREIGN DATA WRAPPER DFS_FDW OPTIONS ( ADDRESS 'obs.cn-north-1.myhuaweicloud.com', ACCESS_KEY 'xxxxxxxxx', SECRET_ACCESS_KEY 'yyyyyyyyyyyyy'
validationQuery=select 1 validationQueryTimeout=300 #driverClassName=com.huawei.gauss200.jdbc.Driver driverClassName=org.postgresql.Driver # 初始化连接的数量
关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在OBS对象存储服务器上,从而提高整体导出性能。