检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出ORC数据概述 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。
当Kafka鉴权时需要开启,支持SASL_SSL和SASL_PLAINTEXT两种协议。 用户名 否 连接Kafka的用户名。 密码 否 连接Kafka的密码。 SSL鉴权 否 是否支持SSL协议。 证书 否 SSL证书二进制jks格式文件。 证书密码 否 SSL证书加密密码。 Host配置 否
执行导出 导出操作语法: 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
规划导出数据 操作场景 使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (
OBS外表在设计上禁止往非空的路径下导出文件,但是在并发场景下会出现同一路径导出文件的情况,此时会发生异常。 异常场景:假如用户使用同一张表的数据并发导出到同一个OBS的外表,在一条SQL语句执行在OBS服务器上没有生成文件时,另一条SQL语句也执行导出,最终执行结果为两条SQL语句均
导出CSV、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题: 导出数据到OBS
12。缺省值为0.12。 “dataencoding” 在数据库编码与数据表的数据编码不一致时,该参数用于指定导出数据表的数据编码。比如数据库编码为Latin-1,而导出的数据表中的数据为UTF-8编码。此选项为可选项,如果不指定该选项,默认采用数据库编码。此语法仅对HDFS的WRITE
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数据
务。未做过人为事务处理时,一条INSERT语句就是一个导入事务。 --enable-ssl:启用SSL加密方式传输数据。 --ssl-dir Cert_file:SSL证书所在目录。需与4中的证书保存目录保持一致。 关于更多参数的设置信息请参考gds命令简介。 方式二:将启动参数写进配置文件“gds
GDS导出示例 Remote模式导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为CSV,所以规划的并行导出模式为Remote模式。 Remote模式并行导出数据操作示例如下所示: 以root用户登录GDS数据服务器,创建数据文件
字段分隔符(delimiter)为“,”。 header(指定导出数据文件是否包含标题行) 指定导出数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。 OBS导出数据时不支持该参数为true,使用缺省值false,不需要设置,表示导出的数据文件第一行不是标题行(即表头)。 根据以上信息,创建的外表如下所示:
务。未做过人为事务处理时,一条INSERT语句就是一个导入事务。 --enable-ssl:启用SSL加密方式传输数据。 --ssl-dir Cert_file:SSL证书所在目录。需与4中的证书保存目录保持一致。 关于更多参数的设置信息请参考gds命令简介。 方式二:将启动参数写进配置文件“gds
hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs} (1 row) 父主题: 导出ORC数据到OBS
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
导出表 GaussDB(DWS)支持使用gs_dump工具导出表级的内容,包含表定义和表数据。视图、序列和外表属于特殊的表。用户可通过灵活的自定义方式导出表内容,不仅支持选定一个表或多个表的导出,还支持排除一个表或者多个表的导出。可根据需要自定义导出如下信息: 导出表全量信息,包含表数据和表定义。
需的用户名、密码信息。 SSL模式。 如果需要使用SSL证书连接,那么请将GaussDB(DWS)安装包中的SSLCERT的证书包解压,双击“sslcert_env.bat”文件,即可完成证书的默认位置的部署。 该sslcert_env.bat为了保证证书环境的纯净,在%APPD
从GaussDB(DWS)集群导出ORC数据到MRS集群 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器