检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
纯文本格式 自定义归档格式 目录归档格式 tar归档格式 纯文本格式数据文件导入请参见使用gsql元命令\COPY导入数据。 自定义归档格式、目录归档格式和tar归档格式数据文件导入请参见使用gs_restore导入数据。 模式级导出。 导出模式的全量信息。 仅导出模式中数据。 仅导出
复校正,有助于在部署运行GDS时提前发现潜在问题,提高执行成功率。 注意事项 执行脚本前需设置环境变量,可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。 脚本需要在python 3环境下运行。 必须在root用户下执行脚本。 必须指定-t、--host参数。
session_timeout设置导致JDBC业务报错 问题现象 通过JDBC连接集群执行COPY导入时报错: org.postgresql.util.PSQLException: Database connection failed when starting copy at org
检查Data Studio.ini文件是否正确配置。 当用户通过SSL证书尝试和另一服务器建立连接时,为什么连接成功了? 解答:如果不同服务器使用相同SSL证书,那么第二次连接应成功,因为证书会缓存。 当用户通过不同的SSL证书尝试和另一服务器建立连接时,由于证书不匹配连接失败。 当用
SQLSTATE: 42601 错误原因:null导入参数设置为空格或者问号,同时又将compatible_illegal_chars设置为true,标识导入非法字符兼容。由于导入非法字符兼容会将非法字符转换为空格或者问号,所以会与null参数混淆引发潜在的导入错误。 解决办法:将null设置为
ONLY foreign table" SQLSTATE:无 错误原因:自定义换行符不能用于非TEXT格式的copy导入或只读外表。 解决办法:请检查copy导入或只读外表的设置的文件格式,确保为TEXT格式。 GAUSS-05163: "EOL specification can
partition %s" SQLSTATE: XX000 错误原因:分区表导入过程中下盘缓存文件创建失败。 解决办法:检查是否当前系统的文件数达到了最大值,检查当前系统是否有足够的存储空间用以创建分区表导入时的临时文件。 GAUSS-04752: "error write temp
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
net/projects/unixodbc/files/unixODBC/2.3.0/unixODBC-2.3.0.tar.gz/download 已下载SSL证书文件,请参见下载SSL证书。 在Linux环境使用ODBC连接 将ODBC驱动包和代码文件上传到Linux环境,并解压到指定目录。 以root用户登录Linux环境。
import module: %s." SQLSTATE: 无 错误原因:系统环境默认使用python2执行工具,与期望使用的Python3不符,导致导入模块时报错:缺少python依赖的库。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-52201: "The current python
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据,改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后,继续使用SQL on Hudi方式同步增量数据。 创建hudi.hudi_sync_state同步状态表,需要管理员权限。
采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成数据,如下示例,1-5分片存放至/data1/script/tpcds-kit/tpcds1000X
多样化的数据导入方式 GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见迁移数据到GaussDB(DWS)章节。 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 使用gsql元命令\COPY导入数据
默认值:16MB。 -t worker_num 设置导入导出工作并发线程数目。 取值范围:0<worker_num≤200,正整数。 默认值:8。 推荐值:普通文件导入导出场景取值:CPU核数*2;管道文件导入导出场景取值:64。 当管道文件导入导出场景并发较大时,该值应不低于业务并发数。
的场景。 处理方法 如果遇到写数据慢的问题,建议通过以下两种方式进行处理: 建议选择其他更加高效的数据导入方式,例如使用COPY方式导入数据。 有关导入方式的详细信息,请参见导入方式说明。 增大客户端并发数。 父主题: 集群性能
AL日志段文件数量。每个日志文件大小为16MB。 参数类型:SIGHUP 取值范围:整型,最小值1 默认值:64 提升此参数可加快大数据的导入速度,但需要结合checkpoint_timeout、shared_buffers这两个参数统一考虑。这个参数同时影响WAL日志段文件复用
AL日志段文件数量。每个日志文件大小为16MB。 参数类型:SIGHUP 取值范围:整型,最小值1 默认值:64 提升此参数可加快大数据的导入速度,但需要结合checkpoint_timeout、shared_buffers这两个参数统一考虑。这个参数同时影响WAL日志段文件复用
由于DWS的表定义结构与Oracle存在差异,需要手动修改转换后的表定义。 如下,将文件中的\echo整体注释掉(如果使用gsql工具导入表定义的话,不需要注释),同时手动修改指定表的分布列(distribute by hash (列名))。 修改前: 修改后: Hash分布
WS)的数据导入、访问MRS集群、多维度分析、权限管理、JDBC开发、性能调优等场景。 表1 实验列表 场景 实验名称 实验描述 预计时长 导入分析 快速入门 一键式创建GaussDB(DWS)集群,上传csv本地数据到云存储OBS桶,通过创建OBS外表实现数据导入并简单分析。 1h
创建DATABASE时必须选择正确的数据库编码 违反规则的影响: 选错数据库编码可能导致数据乱码,且不支持直接修改数据库编码,需重新建库重新导入数据。 方案建议: 通常建议建库时指定ENCODING为UTF-8编码,特殊场景根据实际情况而定。 规则2.3 创建DATABASE时必须选择正确的数据库兼容模式