检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为.csv,单击“保存”。 上传数据到OBS 将上面准备的3个CSV格式的数据源文件存储到OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务》“快速入门”中的创建桶。 例如
导出单个数据库 导出数据库 导出模式 导出表 父主题: 使用gs_dump和gs_dumpall命令导出元数据
外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。 “folder
/output_data/2019/11”。 梳理待导出数据的格式信息,确定创建外表时使用的数据格式参数的值。 根据前面步骤确定的参数,创建GDS外表。 示例 示例:创建GDS导出外表foreign_tpcds_reasons,待导出数据格式为CSV,用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示:
region。 TEXT、CSV格式的OBS导入导出外表格式参数使用说明如下: location参数必选,其中前缀gsobs、obs均支持,都识别为OBS的信息,若为gsobs时,其中包含obs url、bucket、prefix,若为obs时则表示bucket、prefix。
hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs} (1 row) 父主题: 导出ORC数据到MRS
4239 ms 示例二:执行gs_dump导出数据,用户jack不具备导出模式public的权限,而角色role1具备该权限,要实现导出模式public,可以在导出命令中设置--role角色为role1,使用role1的权限,完成导出目的。导出文件格式为tar归档格式。 human_resource=#
GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
停止GDS GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 当不在使用GDS时,可通过以下步骤停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“g
Studio会在“消息”选项卡中报错。请清理磁盘,重新建立连接并导出结果数据。 “消息”页签显示“执行时间”、“导出的总行数”和CSV文件的保存路径。 导出当前页的查询结果 如要导出查询结果,建议导出所有查询结果,而非当前页的查询结果。“导出当前页到CSV”功能已弃用。 执行以下步骤导出当前页查询结果。 选择“结果”页签。
使用gs_dump和gs_dumpall命令导出元数据 概述 导出单个数据库 导出所有数据库 无权限角色导出数据 父主题: 元数据迁移
TEXTFILE; 将product_info.txt数据文件导入Hive。 Hive对接OBS场景:回到OBS管理控制台,单击并行文件系统名称,选择“对象 > 上传对象”,将product_info.txt上传至OBS并行文件系统中product_info表路径下。 Hive对接HDFS场景:将product_info
对于使用GDS并行导出到远端服务器时的只写外表,URL不需要指定文件名。当导出数据文件存储位置为远端URL时,例如gsfs:// 192.168.0.90:5000/,则数据源位置可指定多个,此时:若导出数据文件存储位置数量小于等于数据节点数量时,使用此外部表执行导出任务,数据将被平
\xdeadbeef (4 rows) 对同一张外表重复导出会覆盖之前的文件,因此不要对同一个外表重复导出。 若不确定文件是否为标准的csv格式,推荐将quote参数设置为0x07,0x08或0x1b等不可见字符来进行GDS导入导出,避免文件格式问题导致任务失败。 1 2 3 4 5
对于使用GDS并行导出到远端服务器时的只写外表,URL不需要指定文件名。当导出数据文件存储位置为远端URL时,例如gsfs:// 192.168.0.90:5000/,则数据源位置可指定多个,此时:若导出数据文件存储位置数量小于等于数据节点数量时,使用此外部表执行导出任务,数据将被平
准备工作 创建ECS 创建集群并下载工具包 使用GDS导入数据源 通过外表导入远端DWS数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,账号不能处于欠费或冻结状态。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。
载访问密钥。 账户OBS权限不足,对OBS桶没有读、写权限 您必须给指定的用户授予所需的OBS访问权限: 通过OBS外表导入数据到GaussDB(DWS)时,执行导入操作的用户必须具备数据源文件所在的OBS桶和对象的读取权限。 通过OBS外表导出数据时,执行导出操作的用户必须具备
ore导入数据。 模式级导出。 导出模式的全量信息。 仅导出模式中数据。 仅导出对象的定义,包含表定义、存储过程定义和索引定义等。 表级导出。 导出表的全量信息。 仅导出表中数据。 仅导出表的定义。 导出所有数据库 数据库级导出。 导出全量信息。 使用导出的全量信息可以创建与当前
选择当前登录用户db_user01,然后选择该用户下的表对象APEX2_DYNAMIC_ADD_REMAIN_TEST,不选择包括存储,并选择语法导出文件的路径(导出的sql文件命名为test),单击“导出”。 导出的DDL文件如下显示。 将导出的DDL文件放在解压后的DSC文件夹的input目录下。 在runDSC