检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 存储在OBS中的源文件含有非UTF-8的数据。 处理方法 排查报错的源文件,检查是否含有非UTF-8的数据,例如中文字符。如果源文件中含有非UTF-8的数据,请先将源文件转换成UTF-8的格式,并重新上传到OBS,然后再执行导入数据的操作。 父主题: 数据导入/导出
90和192.168.0.91。数据源文件格式为CSV。 以root用户登录每台GDS数据服务器,在两台数据服务器上,分别创建数据文件存放目录“/input_data”。以下以IP为192.168.0.90的数据服务器为例进行操作,剩余服务器上的操作与它一致。 mkdir -p /input_data
WAL日志段文件复用数量,通常情况下pg_xlog文件夹下最大的复用文件个数为2倍的checkpoint_segments个,复用的文件被改名为后续即将使用的WAL日志段文件,不会被真正删除。 checkpoint_timeout 参数说明:设置自动WAL检查点之间的最长时间。 参数类型:SIGHUP
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
SQL语法参考历史版本下载 表1 历史版本 发布时间 版本号 文档地址 2024年4月17日 8.3.0.x版本 点击下载 2023年5月30日 8.2.1.x版本 点击下载 2022年11月28日 8.2.0版本 点击下载 2021年07月30日 8.1.1.x版本 点击下载 2021年05月15日
设置Oracle配置参数可在迁移Oracle数据库脚本时自定义迁移工具的行为。 打开config文件夹中的features-oracle.properties文件,并根据实际需要设置表1中的参数。 表1 features-oracle.properties文件中的配置参数 参数 说明 取值范围 默认值 样例
command, which type is %d" SQLSTATE: XX000 错误原因:收到了非法的GDS交互。 解决办法:请检查GDS外表对应的导入文件中是否存在非法数据并对文件进行数据清洗后再次导入。 GAUSS-04622: "%s cannot be executed when
数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的,且数据和程序之间具备非常强的依赖性,应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数
DSC将所有日志、告警和错误信息保存到log文件夹下的perlDSC.log文件中。日志文件包含执行迁移的用户、迁移的文件、时间戳等详细信息。 perlDSC.log的文件结构如下: 2018-07-08 13:35:10 INFO teradatacore.pm:1316 Extracting SQL
开发指南历史版本下载 表1 历史版本 发布时间 版本号 文档地址 2024年4月17日 8.3.0.x版本 标准数仓:点击下载 实时数仓:点击下载 2023年5月30日 8.2.1.x版本 点击下载 2022年11月28日 8.2.0版本 点击下载 2021年07月30日 8.1
指定保留日志文件的最大数量。文件总数包括正在使用的日志文件和已归档的日志文件。 如果新归档的日志文件超过了文件数上限,则会先删除最早保留的文件,直到成功保存指定数量的文件。 3 - 10 5 log-file-count=10 log-file-size 指定日志文件的最高上限。
使用substring截取带中文的数据时出现乱码 问题现象 客户需要查询某张表的name字段,返回的数据中只截取到“学年”及以前部分,使用substring函数实现时出现乱码,如下图所示。 原因分析 UTF-8字符集编码下,一个中文占3个字节,如需获取结果显示为“2014-201
业务数据文件从Oracle导入,文件编码为utf-8。该报错还会提示行数,由于文件特别大,vim命令打不开文件,于是用sed命令把报错行数提出来,再用vim命令打开,发现并没有什么异常。用split命令按行数切割后,部分文件也可以导入。 经分析GaussDB(DWS)的varch
增访问密钥”创建并下载访问密钥。 梳理待导入数据的格式信息,确定创建外表时使用的数据格式参数的值。需要收集的主要数据源格式信息如下: format:外表中数据源文件的格式。OBS外表导入支持CSV、TEXT格式。缺省值为TEXT。 header:指定导出数据文件是否包含标题行,header只能用于CSV格式的文件中。
建一个LAST_DAY函数。迁移后的语句将使用此新函数MIG_ORA_EXT.LAST_DAY,如下示例。 在使用此函数之前,请执行如下操作: 创建并使用MIG_ORA_EXT模式。 复制custom scripts文件的内容,并在要执行迁移的所有目标数据库中执行此脚本。详情请参见迁移流程。
日志概述 日志文件是DSC所有操作和状态的存储库。支持以下日志文件: SQL迁移日志 DSC.log:SQL迁移的所有活动。 DSCError.log:SQL迁移错误。 successRead.log:SQL迁移中对输入文件的成功读次数。 successWrite.log:SQL迁移中对输入文件的成功写次数。
GaussDB(DWS)是否有高效的删除表数据的方法? 有。删除大批量的日志数据时,使用delete语法需要花费更大的时间,此时可以通过TRUNCATE语法进行大批量删除操作,它的删除速度比delete快得多。 详情请参见TRUNCATE。 功能描述 清理表数据,TRUNCATE
gs_extend_library函数如何使用请参见 管理jar包和文件。函数中的AK/SK值,请用户根据实际获取值替换。region_name请用户根据实际所在的区域名称替换。 使用PL/Java函数。 首先,使用拥有sysadmin权限的数据库用户(例如:dbadmin)登录数据库并创建java_upperstring函数如下:
步骤2:测试初始表结构下的系统性能并建立基线 在优化表结构前后,请测试和记录以下详细信息以对比系统性能差异: 数据加载时间。 表占用的存储空间大小。 查询性能。 本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响,即使您使用相同的集群配置,结果也会有所不同。
tion.properties配置文件)将其覆盖。已删除或覆盖的子文件夹或文件无法通过DSC恢复。 如果在同一台服务器上并发进行迁移(由同一个或不同DSC执行),不同的迁移任务必须使用不同的输出文件夹路径和日志路径。 用户可以通过可选参数指定日志存储路径。如果路径未指定,DSC在