检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALTER FOREIGN TABLE (GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET
问密钥。 账户OBS权限不足,对OBS桶没有读、写权限 您必须给指定的用户授予所需的OBS访问权限: 通过OBS外表导入数据到GaussDB(DWS)时,执行导入操作的用户必须具备数据源文件所在的OBS桶和对象的读取权限。 通过OBS外表导出数据时,执行导出操作的用户必须具备数据
到不同路径下。ORC格式文件大小最大为128MB,Stripe大小最大为64MB。 导出完成后会生成_SUCCESS标记文件。 父主题: 导入导出
处理方法 在创建GDS外表时,去除指定的分布信息,即去掉语句中显示指定的“DISTRIBUTE BY ROUNDROBIN”即可。 父主题: 数据导入/导出
format 'text', deLIMITer '|', encoding 'utf8', mode 'Normal' ); 导入TPC-H数据 执行以下SQL语句导入数据。 1 2 3 4 5 6 7 8 INSERT INTO region SELECT * FROM region_load;
gs_restore默认是以追加的方式进行数据导入。为避免多次导入造成数据异常,在进行导入时,建议使用"-e"和"-c" 参数,即导入前删除已存在于待导入数据库中的数据库对象,同时当出现导入错误时,忽略当前错误,继续执行导入任务,并在导入后会显示相应的错误信息。 参数说明 通用参数:
'|', encoding 'utf8', mode 'Normal' ) WITH store_sales_err; 导入TPC-DS数据 执行以下命令导入数据。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
其他方式:包括INSERT语句、COPY FROM STDIN、gsql元命令导入及第三方ETL工具导入。 发布区域:全部 从OBS导入数据 从GDS导入数据 从MRS导入数据 从CDM导入数据 适用gs_restore导入元数据 导出数据 DWS支持三种方式导出数据: • 使用OBS外表导
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入 GaussDB(DWS)导入性能都和哪些因素有关联?
address_string:允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此参数配置的目的是允许GaussDB(DWS)集群可以访问GDS服务进行数据导入,请保证所配置的网段包含GaussDB(DWS)集群各主机。 处理方法 重新启动GDS。具体步骤参见安装配置和启动GDS。 修改GDS启动
但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。 处理方法 排查报错的源文件,检查是否含有非UTF-8的数据,例如中文字符。如果源文件中含有非UTF-8的数据,请先将源文件转换成UTF-8的格式,并重新上传到OBS,然后再执行导入数据的操作。
配置目的端作业参数,根据待导入数据的云服务配置对应参数。 表2 目的端作业参数 参数名 取值样例 模式或表空间 db_user01 自动创表 不自动创建 表名 apex2_dynamic_add_remain_test 导入开始前 清除全部数据 导入模式 COPY 先导入阶段表 否 导入前准备语句
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据,改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后,继续使用SQL on Hudi方式同步增量数据。 创建hudi.hudi_sync_state同步状态表,需要管理员权限。
自定义归档格式 目录归档格式 tar归档格式 纯文本格式数据文件导入请参见使用gsql元命令\COPY导入数据。 自定义归档格式、目录归档格式和tar归档格式数据文件导入请参见使用gs_restore导入数据。 模式级导出。 导出模式的全量信息。 仅导出模式中数据。 仅导出对象的定义,包含表定义、存储过程定义和索引定义等。
log,需要再给同步任务注册同步点后,才会开始记录Binlog(开启Flink同步binlog任务后,会自动循环进行获取同步点、获取增量数据、注册同步点操作)。 binlog_ttl是可选参数,当不设置时将使用默认值86400, 单位为秒,当同步任务注册的同步点超过TTL没有进行
数据库监控 进入数据库监控页面 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”。系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 数据库监控”,进入数据库监控页面。 在数据库
定兼容的数据库的类型,DBCOMPATIBILITY取值范围:ORA、TD、MySQL。分别表示兼容Oracle、Teradata和MySQL数据库。如果创建数据库时不指定该参数,则默认为ORA,在ORA兼容模式下,date类型会自动转换为timestamp(0),只有在MySQL兼容模式下才支持date类型。
快照概述 快照是对GaussDB(DWS)集群在某一时间点的一次全量数据或增量数据的备份,记录了当前数据库的数据以及集群的相关信息,其中包括节点数量、节点规格和数据库管理员用户名称等。快照创建方式包括手动创建快照和自动创建快照,详情参见手动快照和自动快照。 当选择将快照恢复到新集
迁移表全量数据 配置DWS数据源连接 配置Oracle数据源连接 表迁移 验证 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群