检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建访问密钥(AK和SK) 在本示例中,将导入OBS数据到GaussDB(DWS)集群数据库中。云平台用户通过客户端或API、SDK等方式访问OBS时,需要通过AK/SK认证方式进行认证鉴权。因此,当您需要通过客户端或JDBC/ODBC应用程序等方式连接GaussDB(DWS)数据库访问OBS时,必须先获取访问密钥(AK和SK)。
转储GaussDB(DWS)数据库审计日志 GaussDB(DWS)记录数据库中的连接和用户活动相关信息。这些审计日志信息有助于用户监控数据库以确保安全、进行故障排除及定位历史操作记录。GaussDB(DWS)的审计日志默认存储于数据库中,用户可以将审计日志转储到OBS中,便于负责监控数据库中活动的用
PU监控top命令,I/O监控命令iostat,网络监控命令sar等。相关案例请参见多线程导出。 任务示例 示例1:将表reason的数据通过外表foreign_tpcds_reasons导出到数据文件中。 1 INSERT INTO foreign_tpcds_reasons SELECT
Connectivity,java数据库连接)是应用程序访问数据库的统一标准接口,应用程序可使用JDBC连接数据库并执行SQL。 GaussDB(DWS)提供了对JDBC 4.0特性的支持,本章节提供了JCDB常见问题定位及对应报错和问题的处理方法。 产生JDBC问题的原因主要分为以下三个方面: 应用程序和应用程序框架问题。
方法请参见获取项目ID。请求URL中的所在区域需要与调用的服务所在区域保持一致,您可以从地区和终端节点获取。 单击“Body”, 添加请求参数值到请求中。不同服务的参数各不相同,详情请参考API说明。 单击右上角“Send”按钮发送请求“POST https://dws.cn-north-4
WS)数据库自主开发过程中应遵守的设计、开发准则,以提升开发效率,保证业务的连续性、稳定性。 适用范围 该规范适用于所有基于GaussDDB(DWS)数据库自主开发的场景,包含应用层面的设计与开发、数据库服务层面的设计与开发。 术语定义 规则:数据库设计与开发时必须遵守的约定。
数据保护技术 数据备份 透明加密 SSL传输加密 数据脱敏 使用函数进行加密 父主题: 安全
节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量,而在存算一体集群概览里看到的磁盘空间只是集群内能做表数据存储的可用空间,另外DWS集群中表是有备份的副本数的,表的备份数据也是需要占用磁盘存储的。存算分离集群概览中的磁盘空间,为缓存大小,是实际申请的磁盘空间。
子查询的目标列不是基表的脱敏列,而是基表脱敏列的表达式或者函数调用。 支持脱敏数据的COPY TO或者GDS导出功能。由于脱敏数据的不可逆性,针对脱敏数据的二次运算无任何实际意义。 禁止UPDATE、MERGE INTO、DELETE语句的目标列涉及脱敏列。 UPSERT语句允许通过EXCLUDED
在Hive中创建数据库demo。 执行以下命令创建数据库: CREATE DATABASE demo; 在数据库demo中新建了一个Hive TEXTFILE类型的表product_info,并将数据文件(product_info.txt)导入到该表对应的HDFS路径中。 执行以下命令切换到demo数据库:
入成功。查询结果的结尾将显示以下信息: 1 (10 rows) 通过外表查询到数据后,用户可以将数据插入数据库的普通表。 导入数据后查询数据 在GaussDB(DWS)数据库中,创建导入数据的目标表,用于存储导入的数据。 该表的表结构必须与创建外表中创建的外表的表结构保持一致,即字段个数、字段类型要完全一致。
大对象类型 概述 BLOB是一个二进制大对象,可以容纳可变数量的数据。这四个BLOB 类型是TINYBLOB,BLOB, MEDIUMBLOB和LONGBLOB。这些不同之处仅在于各自可以容纳的值的最大长度不同。DSC工具支持以下列出类型转换。 BLOB类型可以存储图片,列存储不支持BLOB。
插入数据。如果引用脱敏列更新基表数据,存在误改数据的可能,执行会报错。 自8.2.1集群版本针对同一张表可以允许创建多个脱敏策略,实现敏感数据分级分类场景下的多样化配置。多脱敏策略的选择和应用原则如下: 选择满足当前Session的多个候选策略中policy_order最大的那一个策略,即策略次序越大表示越晚创建。
用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)支持在相同网络中,配置一个GaussDB(DWS)集群连接到一个MRS集群,然后将数据从HDFS中的文件读取到GaussDB(DWS)。
这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证结果的正确性,需要对t表做相应的处理。对于t表中等于0(s
这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证结果的正确性,需要对t表做相应的处理。对于t表中等于0(s
在数据库表中搜索文本 搜索表 创建GIN索引 索引使用约束 父主题: 全文检索
实现数据列的加解密 数据加密作为有效防止未授权访问和防护数据泄露的技术,在各种信息系统中广泛使用。作为信息系统的核心,GaussDB(DWS)数仓也提供数据加密功能,包括透明加密和使用SQL函数加密。本章节主要讨论SQL函数加密。 GaussDB(DWS)目前不支持从Oracle
由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。 图4 产品架构 应用层 数据加载工具、ETL(Extr
的实际操作,为数据库性能调优人员提供全方位的指导。 注意事项 数据库调优是一个复杂和细致的过程,需熟悉数据库系统的内部工作原理和相关技术。它需要综合考虑硬件、软件、查询、配置和数据结构等多个方面的因素,以达到最佳的性能和效率。因此,要求调优人员应对系统软件架构、软硬件配置、数据库