检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1.zip 执行如下命令编译生成数据构建工具dbgen。 编译之前需要修改dbgen目录下的两个文件:makefile.suite和tpcd.h 修改makefile.suite文件。 #makefile.suite的更改参数如下(103行-111行): CC = gcc
通过外表导出数据 相关概念 数据文件:存储有数据的TEXT、CSV或FIXED文件。文件中保存的是从GaussDB(DWS)数据库导出的数据。 外表:用于规划导出数据文件的数据文件格式、存放位置、编码格式等信息。 GDS:数据服务工具。在导出数据时,需要将此工具部署到数据文件所在的服务器上,使DN可以通过该工具导出数据。
使用copy命令或者导入数据时,源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现,比如引号,文件格式异常导致系统识别的单行数据过大超过1GB。 处理方法 确保源文件中的引号是成对的。 检查创建外表时命令中参数的取值、格式设置是否合理。 检查源文件单行数据是否超过1GB,参考报错行号进行检查,可根据实际情况手动调整或删除该行数据。
该用户必须具有创建文件夹的权限,否则install.sh将执行失败。 请确保目标文件夹大小至少为输入文件夹中SQL文件大小的4倍。 例如,输入文件夹中SQL文件大小为100 KB,则目标文件夹至少需要400 KB空间处理SQL文件。 Linux系统中查询目标文件夹的可用磁盘空间:
取消通过元命令\password设置用户密码。 新增元命令\i+、 \ir+、\include_relative+和输入输出参数-k,以支持给导入导出的文件加密。 取消打印命令行历史到文件的元命令\s。 涉及敏感操作SQL历史不再记录,如含有密码操作。即用户通过翻页/上下键查阅SQL历史将不能查到对应的记录。
xx。 解决办法:请检查数据文件,确保数据文件没有问题。 GAUSS-05180: “encoding ‘%s’ not supported by collation ‘%s’” 错误原因:排序规则不支持当前数据库的字符编码。 解决办法:查阅产品文档,选择支持当前字符编码的排序规则。
具的行为。 打开config文件夹中的features-mysql.properties文件,并根据实际需要设置features-mysql.properties文件中的配置参数中的参数。 表1 features-mysql.properties文件中的配置参数 参数 说明 取值范围
置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。 “foldername”:外表中数据源文件目录,即
列存表多次执行INSERT后,发现表膨胀。 原因分析 列存表数据按列存储,一列的每60000行存储为一个CU,同一列的CU连续存储在一个文件中,当该文件大于1GB时,切换到新文件中。CU文件数据不能更改只能追加写。对频繁进行删除和更新的列存表VACUUM后,由于列存表的CU无法更改,即使标识为可用的空间
本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下:
是否对数据进行加密,该参数仅支持在type为OBS时设置。默认值为off。 取值范围: on表示对数据进行加密。 off表示不对数据进行加密。 access_key OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key
描述 数据导入导出 从OBS导入数据到集群 本教程旨在通过演示将样例数据上传OBS,及将OBS的数据导入进GaussDB(DWS)上的目标表中,让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussDB(DWS)支持通过外表将OBS上TXT、CSV、O
是否对数据进行加密,该参数仅支持在type为OBS时设置。默认值为off。 取值范围: on表示对数据进行加密。 off表示不对数据进行加密。 access_key OBS访问协议对应的AK值(OBS云服务界面由用户获取),创建外表时AK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 secret_access_key
"very good." 新建文本文档并使用本地编辑工具(例如Visual Studio Code)打开后,将示例数据拷贝进文本文档中。 选择“格式 > 以UTF-8无BOM格式编码”。 选择“文件 > 另存为”。 在弹出的对话框中输入文件名后,将文件后缀设为.csv,单击“保存”。
储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。 GaussDB(DWS)用户的业务数据是直接存放在集群的云主机当中,集群的云主机对GaussDB(DWS)用户本身不可见,只向用户提供数据仓库访问服务,用户以及公有云的运维管理员均无法登录
日志概述 日志文件是DSC所有操作和状态的存储库。支持以下日志文件: SQL迁移日志 DSC.log:SQL迁移的所有活动。 DSCError.log:SQL迁移错误。 successRead.log:SQL迁移中对输入文件的成功读次数。 successWrite.log:SQL迁移中对输入文件的成功写次数。
错误原因:读取符号链接文件失败。 解决办法:请检查符号链接文件正确性。 GAUSS-01252: "symbolic link '%s' target is too long" SQLSTATE: XX000 错误原因:符号链接文件过长。 解决办法:请检查符号链接文件正确性。 GAUSS-01253:
操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。 执行上传gsql操作的用户需要对客户端主机的目标存放目录有完全控制权限。 或者,您也可以先SSH
参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB(DWS)将上报“文件不存在的”错误。 参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
n regclass) 描述:指定关系的文件节点数。 返回值类型:oid 备注:pg_relation_filenode接收一个表、索引、序列或压缩表的OID或者名字,并且返回当前分配给它的“filenode”数。文件节点是关系使用的文件名字的基本组件。对大多数表来说,结果和pg_class