检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密。本章节主要讨论SQL函数加密。 GaussDB(DWS)目前不支持从Oracle、Teradata和MySQL加密后到DWS解密。Oracle、Teradata和MySQL与DWS加解密有区别,需要非加密数据迁移到DWS后在DWS侧进行加解密。 技术背景 哈希函数 哈希函数又
wait_event类型 类型描述 BufFileRead 从临时文件中读取数据到指定buffer。 BufFileWrite 向临时文件中写入指定buffer中的内容。 ControlFileRead 读取pg_control文件。主要在数据库启动、执行checkpoint和主备校验过程中发生。
XX001 错误原因:读取文件发生IO错误,数据大小不足一个页。 解决办法:检查磁盘是否有损坏。 GAUSS-04184: "could not write block %u in file '%s': %m" SQLSTATE: XX000 错误原因:写入文件发生IO错误。 解
60m或者1h。 默认值:1h/60m/3600s 该参数的设置是为了避免人为或程序自身问题造成管道文件的一端长时间不读取或者不写入,导致管道另一端的读取或写入操作hang住。 该参数表示的超时时间不是指GDS一个导入导出任务的最长时间,而是GDS对管道文件的每一次read/op
数的两倍。 由于管道“读取即删除”的特点,需确保导入或导出过程中除GDS程序外无其他程序读取管道文件,避免导入过程中数据丢失或者任务报错及导出的文件内容混乱。 不支持对具有相同Location的外表并发导入导出,即GDS的多个线程同时读取管道文件或者同时写入管道文件。 GDS的单
wait_event类型 类型描述 BufFileRead 从临时文件中读取数据到指定buffer。 BufFileWrite 向临时文件中写入指定buffer中的内容。 ControlFileRead 读取pg_control文件。主要在数据库启动、执行checkpoint和主备校验过程中发生。
DataCheck需要连接数据库,可在离线模式下实现数据校对,校对结果会依次写入Excel表格中,并用日志记录操作过程中发生的错误,便于快速定位问题。 数据校验支持的源端数据库 MySQL(包括 AnalyticDB for MySQL) PostgreSQL GaussDB(DWS) 数据校验流程 DataCheck流程如下:
DataCheck基本功能 DataCheck基本功能 支持源端为DWS,MySQL,PostgreSQL数据库与目标端为DWS数据库的数据校验。 支持通用类型字段校验:数值、时间、字符类型。 支持校验级别设置:包括high、middle、low三种。 支持指定schema、表名、列名进行校验。
关于COPY FROM STDIN导入数据 这种方式适合数据写入量不太大, 并发度不太高的场景。 用户可以使用以下方式通过COPY FROM STDIN语句直接向GaussDB(DWS)写入数据。 通过键盘输入向GaussDB(DWS)写入数据。 通过JDBC驱动的CopyManager接
持。 GAUSS-02092: "unexpected right parenthesis" SQLSTATE: XX000 错误原因:在读取节点信息时遇到了非预期的右括号 解决办法:内部错误,请联系技术支持工程师提供技术支持。 GAUSS-02093: "cannot list_concat()
错误原因:系统内部错误:从文件中读取数据时未搜到结束符。 解决办法:内部错误,请联系技术支持工程师提供技术支持。 GAUSS-02483: "tuplestore seek to start failed" SQLSTATE: 22P07 错误原因:系统内部错误:读取数据时未搜到开始标记。
错误原因:系统内部错误:从文件中读取数据时未读到结束符 解决办法:内部错误,请联系技术支持工程师提供技术支持。 GAUSS-02492: "batchstore seek to start failed" SQLSTATE: 22P07 错误原因:系统内部错误:读取数据时未搜到开始标记。
CopyManager是GaussDB(DWS) JDBC驱动中提供的一个API接口类,用于批量向GaussDB(DWS)集群中导入数据。 CopyManager的继承关系 CopyManager类位于org.postgresql.copy Package中,继承自java.lang.Object类,该类的声明如下:
short for '%s' formatting field" SQLSTATE: 22007 错误原因:日期时间格式错误,源字符串长度小于需要读取的长度。 解决办法:如果源字符串不是定长的,尝试使用“FM”修饰符。 GAUSS-03362: "invalid value '%s' for
集群resourceId、domain_id等详细信息。 对系统的影响 磁盘I/O利用率高会影响数据的读取和写入性能,从而影响集群性能。 大量的磁盘写入会占用磁盘容量,当磁盘容量高于90%会造成集群只读等。 可能原因 用户业务高峰,存在大量的读取或写入。 复杂语句执行造成大量下盘。 Scan算子扫描等。 处理步骤 进入专属集群
通过OBS外表导入数据到GaussDB(DWS)时,执行导入操作的用户必须具备数据源文件所在的OBS桶和对象的读取权限。 通过OBS外表导出数据时,执行导出操作的用户必须具备数据导出路径所在的OBS桶和对象的读取和写入权限。 有关配置OBS权限的具体操作,请参见《对象存储服务控制台指南》中的配置桶ACL和“配置对象ACL”章节。
完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 维护策略声明 GaussDB(DWS)集
如何使用GaussDB(DWS)自定义函数改写CRC32()函数 GaussDB(DWS)目前未内置CRC32函数,但如果需要实现MySQL中的CRC32()函数功能,用户可使用GaussDB(DWS)的自定义函数语句对其进行改写。 函数:CRC32(expr) 描述:用于计算循
jar,请替换驱动类名(将代码中的“org.postgresql”替换成“com.huawei.gauss200.jdbc”)与连接URL串前缀(将“jdbc:postgresql”替换为“jdbc:gaussdb”)。 package rb_demo; import org.postgresql.copy.CopyManager;
jar,请替换驱动类名(将代码中的“org.postgresql”替换成“com.huawei.gauss200.jdbc”)与连接URL串前缀(将“jdbc:postgresql”替换为“jdbc:gaussdb”)。 package rb_demo; import org.postgresql.copy.CopyManager;