检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0rc1/tools目录后,执行以下命令生成数据。 因为tpcds 1000X的数据,单个表的数据文件较大,我们采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成
用户获取OBS访问协议对应的AK值(access_key) 。 用户获取OBS访问协议对应的SK值 (secret_access_key)。 请根据用户实际获取的access_key和secret_access_key的密钥替换示例中的对应内容。 设置的导入容错性如下所示: 允许每个DN上出现数据格式错误的个数(PER
这个子句为表或索引指定一个可选的存储参数。参数的详细说明如下所示。 FILLFACTOR 一个表的填充因子(fillfactor)是一个介于10和100之间的百分数。如果指定了较小的填充因子,INSERT操作仅按照填充因子指定的百分率填充表页。每个页上的剩余空间将用于在该页上更新行,这就使得UPDATE有机会在同一页
regclass) 描述:指定关系的文件节点数。 返回值类型:oid 备注:pg_relation_filenode接收一个表、索引、序列或压缩表的OID或者名字,并且返回当前分配给它的“filenode”数。文件节点是关系使用的文件名字的基本组件。对大多数表来说,结果和pg_class
regclass) 描述:指定关系的文件节点数。 返回值类型:oid 备注:pg_relation_filenode接收一个表、索引、序列或压缩表的OID或者名字,并且返回当前分配给它的“filenode”数。文件节点是关系使用的文件名字的基本组件。对大多数表来说,结果和pg_class
用户元数据由用户上传对象时指定,是用户自己对对象的一些描述信息。 Data:对象的数据内容,OBS对于数据的内容是无感知的,即认为对象内的数据为无状态的二进制数据。 外表:用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。 相关原理 下面
细粒度容灾过程中需要在主备集群的节点间执行命令、传送文件等,GaussDB(DWS)提供了ESLDoTrust.py工具用于建立主备集群互信,并校验互信。该功能仅8.2.1.210及以上集群版本支持。 支持的功能 ESLDoTrust.py支持的功能详情如下表所示,具体使用方法参见命令行参考对应示例。
2692ca,type=hdfs} (1 row) 创建外表 建立不包含分区列的HDFS外表,表关联的外部服务器为hdfs_server,表对应的HDFS服务上的文件格式为“orc”,HDFS上的数据存储路径为“/user/hive/warehouse/product_info_orc/”。
DSC读取、处理文件并将输出写入磁盘。这个过程被记录到成功写日志文件中。在某些情况下,用户可通过此文件了解哪些文件已处理成功。在重新运行的情况下,用户可以跳过这些文件运行剩余的文件。该文件位于log文件夹中。日志文件包括日期、时间、文件名等详细信息。此日志文件的日志记录级别为INFO。
参数说明:控制审计进程的开启和关闭。审计进程开启后,将从管道读取后台进程写入的审计信息,并写入审计文件。 参数类型:SIGHUP 取值范围:布尔型 on表示启动审计功能。 off表示关闭审计功能。 默认值:on audit_space_limit 参数说明:审计文件占用的磁盘空间总量。 参数类型:SIGHUP
所指定的秒数内未使用才会被删除(默认为300秒)。 遍历一个结果集并不被统计为被使用,创建一个语句,预处理语句,可调用语句或使用它们其中的一个执行查询(使用执行方法中的某一个)会重新设置其父连接的“lastUsed”属性。 如果在高负载的系统中将“maxIdle”的值设置的很低,
ntation/output --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang
存为其他任意格式后缀的文件。 根据导入数据原理,当数据源文件的数据量较大时,将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件数量为DataNode的整数倍时,导入性能更好。 假设您已将3个CSV数据文件存储在OBS上,其原始数据分别如下: 数据文件“product_info
id; 当客户的名字、性别、邮件都相同时,则判定它们为重复的记录。对于表t_customer,id等于1、3、6的为重复数据,id为2、5的也是重复数据,删除多余的数据的同时需要保留其中的一条。 方法一:使用聚合函数min(expr) 使用聚合函数通过子查询取出id最小的不重复行,然后通过NOT
注意事项 Windows cmd默认的字符集是GBK,所以Windows gsql默认的client_encoding为GBK,部分UTF-8编码的字符无法在Windows gsql中显示。 建议:-f执行的文件使用UTF-8编码,并设置默认的编码格式为UTF-8(set cli
temp_file_limit 参数说明:语句执行过程中触发落盘操作时,限制语句中单个线程落盘文件的总空间大小。例如,排序和哈希表使用的临时文件或者游标占用的临时文件。 此设置为会话级别的落盘文件控制。 参数类型:SUSET 取值范围:整型,-1~INT_MAX,单位为KB。其中-1表示没有限制。
执行Plan Hint的Scan方式不生效 问题现象 DWS中指定了Plan Hint的scan方式,但是并未生效。 原因分析 Plan Hint语法使用错误。Plan Hint的Scan语法应在SELECT语句中增加“/*+ indexscan(table_name index_name)
将hdfs上的数据写入到管道文件而不需要占用额外的磁盘空间。 当用户导入前需要清洗数据时,用户可以根据自己的需求编写程序,将需要处理的数据流式实时的写入管道文件,完成导入的数据清洗工作。 当前版本暂不支持SSL模式下GDS导入,请勿以SSL方式使用GDS。 本章涉及的所有管道文件都是指Linux上的命名管道。
(以下简称GDS)相关问题的分析定位能力,可以通过此参数选择是否开启GDS的debug功能。参数开启后,将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互的对端以及其他交互相关的细节信息,方便记录Gaussdb端状态机的状态跳转,以及目前所处的状态信息。此参数打开会输出
否开启GDS的debug功能。参数开启后,将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互的对端以及其他交互相关的细节信息,方便记录Gaussdb端状态机的状态跳转,以及目前所处的状态信息。此参数打开会输出额外日志,增加日志IO开销,进而影响性能和日志的信息有效性,因此请仅在定位GDS问题时开启。