-
导出CSV、TXT数据到OBS - 数据仓库服务 GaussDB(DWS)
导出CSV、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题: 导出数据到OBS
-
从OBS导入CSV,TXT数据 - 数据仓库服务 GaussDB(DWS)
从OBS导入CSV,TXT数据 创建访问密钥(AK和SK) 上传数据到OBS 创建OBS外表 执行导入数据 处理错误表 OBS导入数据示例 父主题: 从OBS并行导入数据
-
上传数据到OBS - 数据仓库服务 GaussDB(DWS)
为其他任意格式后缀的文件。 根据导入数据原理,当数据源文件的数据量较大时,将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件数量为DataNode的整数倍时,导入性能更好。 假设您已将3个CSV数据文件存储在OBS上,其原始数据分别如下: 数据文件“product_info
-
示例 - 数据仓库服务 GaussDB(DWS)
customer_address; OBS外表在设计上禁止往非空的路径下导出文件,但是在并发场景下会出现同一路径导出文件的情况,此时会发生异常。 异常场景:假如用户使用同一张表的数据并发导出到同一个OBS的外表,在一条SQL语句执行在OBS服务器上没有生成文件时,另一条SQL语句也执行导出,最终执行结果为两
-
OBS导入数据示例 - 数据仓库服务 GaussDB(DWS)
在数据导入完成后,执行ANALYZE语句生成表统计信息。 1 ANALYZE tpcds.customer_address; 父主题: 从OBS导入CSV,TXT数据
-
规划导出数据 - 数据仓库服务 GaussDB(DWS)
”。 新建文件夹。 具体请参见《对象存储服务控制台指南》中的新建文件夹章节。 例如: 在已创建的OBS桶“mybucket”中新建一个文件夹“output_data”。 在已创建的OBS桶“mybucket02”中新建一个文件夹“output_data”。 获取新建文件夹的OBS路径。
-
执行导出 - 数据仓库服务 GaussDB(DWS)
对于特殊的数据类型如RAW类型,在导出之后是一个二进制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题: 导出CSV、TXT数据到OBS
-
创建OBS外表 - 数据仓库服务 GaussDB(DWS)
源格式信息如下: format:外表中数据源文件的格式。OBS外表导入支持CSV、TEXT格式。缺省值为TEXT。 header:指定导出数据文件是否包含标题行,header只能用于CSV格式的文件中。 delimiter:指定数据文件行数据的字段分隔符,不指定则使用默认分隔符。
-
处理错误表 - 数据仓库服务 GaussDB(DWS)
type character varying(16) 字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 从OBS导入CSV,TXT数据
-
创建OBS外表 - 数据仓库服务 GaussDB(DWS)
例如,在GaussDB(DWS)数据库中,创建一个format参数为text的只写外表,用于导出text文件。设置的参数信息如下所示: location 在规划导出数据中,通过获取数据源文件的OBS路径已经获取到数据源文件的OBS路径。 因此,设置参数“location”为: location 'obs
-
执行导入数据 - 数据仓库服务 GaussDB(DWS)
INSERT INTO product_info SELECT * FROM product_info_ext; 父主题: 从OBS导入CSV,TXT数据
-
创建访问密钥(AK和SK) - 数据仓库服务 GaussDB(DWS)
删除访问密钥时,需要输入登录密码和邮箱或者手机验证码进行验证。 删除的访问密钥将永久删除且无法恢复。 父主题: 从OBS导入CSV,TXT数据
-
错误处理 - 数据仓库服务 GaussDB(DWS)
错误处理 如下错误信息,表示GaussDB(DWS)期望读取ORC数据文件,但实际却是*.txt类型的数据文件。请先创建Hive ORC类型的表,并将数据存储到该Hive ORC表中。 ERROR: dn_6009_6010: Error occurs while creating
-
查看或导入MRS的Hive数据最佳实践 - 数据仓库服务 GaussDB(DWS)
as TEXTFILE; 将product_info.txt数据文件导入Hive。 切回到MRS集群,单击“文件管理”,单击“导入数据”。 OBS路径:选择上面创建好的OBS桶名,找到product_info.txt文件,单击“是”。 HDFS路径:选择/user/hive/warehouse/demo
-
数据读取 - 数据仓库服务 GaussDB(DWS)
数据读取 单表查询 多表连接查询 WITH表达式
-
数据读取 - 数据仓库服务 GaussDB(DWS)
数据读取 单表查询 多表连接查询 子查询表达式 WITH表达式 UNION操作符的使用
-
从OBS导入数据到集群最佳实践 - 数据仓库服务 GaussDB(DWS)
域为例。 新建文件夹。 具体请参见《对象存储服务控制台指南》中的新建文件夹章节。 例如: 在已创建的OBS桶“mybucket”中新建一个文件夹“input_data”。 在已创建的OBS桶“mybucket02”中新建一个文件夹“input_data”。 上传文件。 具体请参见
-
使用GDS从远端服务器导入数据最佳实践 - 数据仓库服务 GaussDB(DWS)
以UTF-8无BOM格式编码”。 选择“文件 > 另存为”。 在弹出的对话框中输入文件名后,将文件后缀设为.csv,单击“保存”。 以root用户登录GDS服务器。 创建数据文件存放目录“/input_data”。 1 mkdir -p /input_data 使用MobaXterm将数据源文件上传至上一步所创建的目录中。
-
示例:通过本地文件导入导出数据 - 数据仓库服务 GaussDB(DWS)
// 将migration_table查询结果导出到本地文件d:/data.txt try { copyToFile(conn, "d:/data.txt", "(SELECT * FROM migration_table)");
-
示例:通过本地文件导入导出数据 - 数据仓库服务 GaussDB(DWS)
// 将migration_table查询结果导出到本地文件d:/data.txt try { copyToFile(conn, "d:/data.txt", "(SELECT * FROM migration_table)");