检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现有集群”,单击要查看的集群名称,进入集群基本信息页面。 单击“文件管理”,选择“HDFS文件列表”。 进入您要导入到GaussDB(DWS)集群的数据的存储目录,并记录其路径。 图1 在MRS上查看数据存储路径 获取MRS数据源连接的外部服务器信息 使用创建外部服务器的用户去连接其对应的数据库。
GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? OBS与GDS外表支持格式文件区别如下: OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式,导出支持ORC、CSV、TEXT文件格式,缺省值为TEXT。 GD
步骤2:测试初始表结构下的系统性能并建立基线 在优化表结构前后,请测试和记录以下详细信息以对比系统性能差异: 数据加载时间。 表占用的存储空间大小。 查询性能。 本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响,即使您使用相同的集群配置,结果也会有所不同。
SSB数据生成 下载ssb工具包并编译。 git clone http://github.com/vadimtk/ssb-dbgen.git cd ssb-dbgen && make 生成数据。 文件生成路径最好符合安装和启动GDS中SSB所使用的路径,否则需要修改安装和启动GDS中GDS的启动路径。
oid 物理文件所属表空间对应的OID。 relfilenode oid 物理文件的物理文件编号。 backendid integer 创建物理文件的后台线程号,通常为-1。 type integer 物理文件的文件类型。 0为数据类型。 1为FSM文件类型。 2为VM文件类型。 3为BCM文件类型。
错误原因:由于没有输入项导致无法确认返回的数据类型。 解决办法:请确认输入的参数类型是正确的,这样才可确定返回结果类型。 GAUSS-01819: "unsafe use of pseudo-type 'internal'" SQLSTATE: 42P13 错误原因:由于没有相关的internal输入
GaussDB(DWS) UNION操作符的使用 在SQL中,UNION是一个非常强大的功能,UNION操作符用于合并两个或多个SELECT语句的结果集。合并时,两个表对应的列数和数据类型必须相同,并且相互对应。各个SELECT语句之间使用UNION或UNION ALL关键字分隔。
GaussDB(DWS) UNION操作符的使用 在SQL中,UNION是一个非常强大的功能,UNION操作符用于合并两个或多个SELECT语句的结果集。合并时,两个表对应的列数和数据类型必须相同,并且相互对应。各个SELECT语句之间使用UNION或UNION ALL关键字分隔。
“新增访问密钥”创建并下载访问密钥。 梳理待导出数据的格式信息,确定创建外表时使用的数据格式参数的值。详细使用请参见数据格式参数。 根据前面步骤确定的参数,创建OBS外表。 示例一 例如,在GaussDB(DWS)数据库中,创建一个format参数为text的只写外表,用于导出text文件。设置的参数信息如下所示:
cache中a1out队列的填充率。 am_fill_rate numeric(5,2) disk cache中am队列的填充率。 fd integer disk cache正在使用的文件描述符数量。 pin_block_count bigint disk cache中被pin住block的数量。该字段仅9
对应的客户端。在“集群管理”页面的集群列表中,单击指定集群的名称,再选择“基本信息”页签,可查看集群版本。 图1 下载工具 下载客户端软件。 表1 DSC下载地址 下载地址 校验文件 DSC_8.3.1.111.zip DSC_8.3.1.111.zip.sha256 下载到本机
硬盘中cache文件所占的总大小,单位bytes。 disk_available bigint 硬盘的可用空间,单位bytes。 disk_size bigint 硬盘的总容量,单位bytes。 disk_use_ratio double precision 硬盘空间的使用率。 示例 查询文件缓存所使用的硬盘的信息:
oid 物理文件所属表空间对应的OID。 relfilenode oid 物理文件的物理文件编号。 backendid integer 创建物理文件的后台线程号,通常为-1。 type integer 物理文件的文件类型。 0为数据类型。 1为FSM文件类型。 2为VM文件类型。 3为BCM文件类型。
0rc1/tools目录后,执行以下命令生成数据。 因为tpcds 1000X的数据,单个表的数据文件较大,我们采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成
参数说明:控制审计进程的开启和关闭。审计进程开启后,将从管道读取后台进程写入的审计信息,并写入审计文件。 参数类型:SIGHUP 取值范围:布尔型 on表示启动审计功能。 off表示关闭审计功能。 默认值:on audit_space_limit 参数说明:审计文件占用的磁盘空间总量。 参数类型:SIGHUP
用户获取OBS访问协议对应的AK值(access_key) 。 用户获取OBS访问协议对应的SK值 (secret_access_key)。 请根据用户实际获取的access_key和secret_access_key的密钥替换示例中的对应内容。 设置的导入容错性如下所示: 允许每个DN上出现数据格式错误的个数(PER
如果声明了数据源文件,服务器必须可以访问该文件;如果指定了STDIN,数据将在客户前端和服务器之间流动,输入时,表的列与列之间使用TAB键分隔,在新的一行中以反斜杠和句点(\.)表示输入结束。 如果数据文件的任意行包含比预期多或者少的字段,COPY FROM将抛出一个错误。 数据的结束可以用一个只包含反斜杠和句点(\
错误原因:目录/文件不能为空。 解决办法:检查目录/文件为空的原因,然后创建目录/文件或执行能够创建该目录的脚本。 GAUSS-50204: "Failed to read %s." SQLSTATE: 无 错误原因:读文件失败。 解决办法:检查并修改文件和用户的权限。 GAUSS-50205:
用户元数据由用户上传对象时指定,是用户自己对对象的一些描述信息。 Data:对象的数据内容,OBS对于数据的内容是无感知的,即认为对象内的数据为无状态的二进制数据。 外表:用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。 相关原理 下面
关于配置文件如何配置,请参见生成配置文件命令。 不涉及 不涉及 --config-file /home/userA/config.ini 使用指南 get-current-disaster命令需在主集群的主节点上执行。用于获取当前容灾对象,以文件形式输出。输出路径为传入参数--current-disaster-file指定路径。