检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
返回MRS集群页面,单击集群名称进入集群详情界面。 单击“文件管理 > HDFS文件列表”,在user/hive/warehouse/product_info_orc路径下查看导出的ORC格式文件。 GaussDB(DWS)导出ORC数据的文件格式规则如下: 导出至MRS(HDFS):从DN
从官网获取TPC-H工具。 登录ECS云服务器,执行如下命令创建TPC-H存放目录。 mkdir -p /data1/script/tpcds-kit/tpch1000X mkdir -p /data2/script/tpcds-kit/tpch1000X 将获取的TPC-H工具上传到ECS的/dat
为确保安全性,DSC会对其创建的文件和文件夹进行访问控制。要访问这些文件和文件夹,用户必须拥有所需权限。例如,用户需要权限600/400访问目标文件和日志文件,需要权限700访问目标文件夹和日志文件夹。此外,该工具不在日志中保存敏感数据,以确保数据安全。 --input-folder中指定的文件或文件夹
有关命令行参数,详情请参见数据库模式迁移。 DSC对输入文件进行格式化,并将格式化后的文件归档到输出文件夹中。用户可以直接比对该输出文件和输出文件。 确保输入路径中没有空格。如果存在空格,则DSC会报错。详情请参见故障处理。 日志详情请参见日志参考。 如果输出文件夹中包含子文件夹或文件,DSC会在执行迁移前将其
parent text 上级内存上下文。 totalsize bigint 共享内存总大小,单位为Byte。 freesize bigint 共享内存剩余大小,单位为Byte。 usedsize bigint 共享内存使用大小,单位为Byte。 父主题: 系统视图
parent text 上级内存上下文。 totalsize bigint 共享内存总大小,单位为Byte。 freesize bigint 共享内存剩余大小,单位为Byte。 usedsize bigint 共享内存使用大小,单位为Byte。 父主题: 系统视图
取消通过元命令\password设置用户密码。 新增元命令\i+、 \ir+、\include_relative+和输入输出参数-k,以支持给导入导出的文件加密。 取消打印命令行历史到文件的元命令\s。 涉及敏感操作SQL历史不再记录,如含有密码操作。即用户通过翻页/上下键查阅SQL历史将不能查到对应的记录。
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(
parent text 上级内存上下文。 totalsize bigint 共享内存总大小,单位Byte。 freesize bigint 共享内存剩余大小,单位Byte。 usedsize bigint 共享内存使用大小,单位Byte。 父主题: 系统视图
PARTITION和CLUSTER PARTITION操作时,都利用了临时表进行数据重排和文件交换,为了最大程度提高分区上的操作并发度,在数据重排阶段给相关分区加锁ExclusiveLock,在文件交换阶段加锁AccessExclusiveLock。 常规加锁方式是等待加锁,直到加锁
0x00.”。 原因分析 业务数据文件从Oracle导入,文件编码为utf-8。该报错还会提示行数,由于文件特别大,vim命令打不开文件,于是用sed命令把报错行数提出来,再用vim命令打开,发现并没有什么异常。用split命令按行数切割后,部分文件也可以导入。 经分析GaussD
限隔离。各个Database之间共享资源极少,可实现连接隔离、权限隔离等。 Schema隔离的方式共用资源较多,可以通过GRANT与REVOKE语法便捷地控制不同用户对各Schema及其下属对象的权限,从而赋给业务更多的灵活性。 从便捷性和资源共享效率上考虑,推荐使用Schema
tput --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang Perl 或
t (1 row) pg_reload_conf() 描述:服务器进程重新装载配置文件。 返回值类型:boolean 备注:pg_reload_conf给服务器发送一个SIGHUP信号,导致所有服务器进程重新装载配置文件。 示例: 1 2 3 4 5 SELECT pg_reload_conf();
将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件 从OBS导入数据时,首先将您的文件上传到O
t (1 row) pg_reload_conf() 描述:服务器进程重新装载配置文件。 返回值类型:boolean 备注:pg_reload_conf给服务器发送一个SIGHUP信号,导致所有服务器进程重新装载配置文件。 示例: 1 2 3 4 5 SELECT pg_reload_conf();
为其他任意格式后缀的文件。 根据导入数据原理,当数据源文件的数据量较大时,将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件数量为DataNode的整数倍时,导入性能更好。 假设您已将3个CSV数据文件存储在OBS上,其原始数据分别如下: 数据文件“product_info
外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。 处理方法 排查报错的源文件,检查是否含有非UTF-8的数据,例如中文字符。如果源文件中含有非UTF-8的数据,请先将源文件转换成UTF-8的格式
Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。 Database Schema Convertor完成迁移后,会调用迁移后验证脚本(通过配置项控制)。此验证脚本(配置详情见配置文件)会连接到目标GaussDB数据库并执行。
t (1 row) pg_reload_conf() 描述:服务器进程重新装载配置文件。 返回值类型:boolean 备注:pg_reload_conf给服务器发送一个SIGHUP信号,导致所有服务器进程重新装载配置文件。 示例: 1 2 3 4 5 SELECT pg_reload_conf();