检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection
dws的导入性能受多方面因素影响,主要有以下几点: 集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
用程序sql脚本迁移,其中,应用程序sql脚本迁移是一个复杂、高风险且耗时的过程。 DSC(Database Schema Convertor)是一款运行在Linux或Windows操作系统上的命令行工具,致力于向用户提供简单、快速、可靠的应用程序sql脚本迁移服务,通过内置的语
CDM、OBS、MRS、DLI为云服务。 GDS、DSC、gs_restore、gs_dump为内部工具。 表1 数据导入方式说明 数据导入方式 数据源 说明 优势 从OBS并行导入数据 OBS 支持将存储在OBS上的TXT、CSV、ORC及CARBONDATA格式的数据并行导入到GaussDB(DW
列存表通过指定COLVERSION=3.0创建为OBS存算分离表,用户数据存储在OBS存储,按需收费。 CREATE TABLE OBS存算分离表数据支持异步读、异步写 OBS存算分离表数据支持异步读、异步写。 - OBS存算分离表支持并行analyze OBS存算分离表支持并行analyze,
本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下:
工具不支持迁移分区/子分区,在迁移后脚本中注释掉以下分区/子分区的关键字: 范围分区/子分区 列表分区/子分区 哈希分区/子分区 场景1:假设参数tdMigrateCASE_N和tdMigrateRANGE_N分别设置为comment和range。 以下示例为Teradata建表脚本,指定嵌套分区。
DWS可以存储多少业务数据? 数据仓库集群每个节点默认能够支持1.49TB、2.98TB、4.47TB、160GB、1.68TB、13.41TB六种规格的存储容量,一个集群支持的节点数范围为3~256,集群总的存储容量随集群规模等比例扩充。 为增强可靠性,每个节点都有一个副本,副
MigSupportSequence 设置DSC对SEQUENCE语句的处理方法。 设为true,可将CREATE脚本转换为INSERT脚本。 设为false,则无法迁移CREATE脚本。 true false true MigSupportSequence=false RemovePartitionTS
手动创建外部服务器 创建外表语法(CREATE FOREIGN TABLE (SQL on Hadoop or OBS))中,需指定一个与MRS数据源连接相关联的外部服务器。 当您通过GaussDB(DWS)管理控制台创建MRS数据源连接时,数据库管理员dbadmin会在默认数据
option_name ' value ' } [, ...] ) 用于指定外部服务器的各类参数,详细的参数说明如下所示: address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。 HDFS:HDFS集群的元数据节点(Nam
管理运维计划 运维任务公共配置 登录GaussDB(DWS)管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在页面上方“运维任务公共配置”模块,填写“用户表VacuumFull运维任务最大并发数”配置值,单击右上角“保存”完成配置。
用户密码:前面创建MRS数据源的admin密码。 创建外部服务器 仅Hive对接OBS场景执行,Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下语句,创建外部服务器。{AK值}、{SK值}由准备环境获取。 认证用的AK和SK硬编码到代码中或者明文存储都
PostGIS空间数据库扩展 全文检索 SQL语法参考 存储过程 系统表和视图 导入/导出数据 从OBS导入数据到集群 并行导出数据到OBS 使用GDS从远端服务器导入数据 使用GDS导出数据到远端服务器 更多导入数据方式 性能调优 教程:调优表设计 优化查询性能 实际调优案例 10 数据分析实验室
只有表对象的属主和被授予gs_redaction_policy预置角色的用户具有创建脱敏策略的权限。 仅支持在普通表和非EXTERNAL SCHEMA的外表(OBS、HDFS、GDS、协调分析外表)创建数据脱敏策略,不支持为系统表、EXTERNAL SCHEMA的外表、临时表、UNLOGGED表以及视图和函数对象创建脱敏策略。
本实践演示使用GaussDB(DWS)外表功能从数据湖探索服务DLI导入数据到GaussDB(DWS)数据仓库的过程。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下:
option_name ' value ' } [, ...] ) 用于指定外部服务器的各类参数,详细的参数说明如下所示。 address 指定的OBS服务终端节点或HDFS集群的IP地址。 OBS:OBS服务的终端节点(Endpoint)。 HDFS:HDFS集群的元数据节点(Nam
描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs cudesc快照目录增量同步sst文件到本地,后续就可以支持在消费者VM中跨VW查询生产者VW中的表。 创建的订阅关系可以在pgxc_g
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK")
存储在系统表PG_STATISTIC中。 分析表 ANALYZE支持的表类型有行/列存表、HDFS表、ORC/CARBONDATA格式的OBS外表。ANALYZE同时也支持对本地表的指定列进行信息统计。 以表product_info为例,ANALYZE命令如下: 1 ANALYZE