检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入导出 导入数据最佳实践 GDS实践指南 迁移OBS桶数据至GaussDB(DWS)集群 使用GDS从远端服务器上导入表数据到GaussDB(DWS)集群 从MRS Hive导入表数据到GaussDB(DWS)集群 使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据
roundrobin; 执行以下SQL,通过外表查询DLI的表数据。 结果显示,成功访问DLI表数据。 1 SELECT * FROM dws_data.dli_pq_order; 执行以下SQL,创建一张新的本地表,用于导入DLI表数据。 1 2 3 4 5 6 CREATE TABLE
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。
rows) 查询结果中,每一行代表一个外部服务器的信息。与MRS数据源连接相关联的外部服务器包含以下信息: srvname值包含“hdfs_server”字样以及MRS集群的ID,此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的address参数
\xdeadbeef (4 rows) 对同一张外表重复导出会覆盖之前的文件,因此不要对同一个外表重复导出。 若不确定文件是否为标准的csv格式,推荐将quote参数设置为0x07,0x08或0x1b等不可见字符来进行GDS导入导出,避免文件格式问题导致任务失败。 1 2 3 4 5
6为例),并选择以密码方式登录。 创建集群并下载工具包 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称 配置方式 区域 选择“华北-北京四”。 说明: 本指导以“华北-北
在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,用于对接GDS和GaussDB(DWS),将数据服务器上的数据导入到GaussDB(DWS)集群中。 启动GaussDB(DWS)并创建数据库表后,将数据导入到表中。 根据
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
使用GDS传输数据的过程中,报错:connection failure error 问题现象 在使用GDS传输数据的过程中,报错“connection failure error”。 原因分析 GDS进程崩溃。执行命令检查GDS进程是否崩溃: ps ux|grep gds 如果返回结果如下,则说明GDS进程启动成功:
FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
GDS外表系统内部默认以ROUNDROBIN分布方式创建,不支持在创建外表时显式添加ROUNDROBIN分布信息。 处理方法 在创建GDS外表时,去除指定的分布信息,即去掉语句中显示指定的“DISTRIBUTE BY ROUNDROBIN”即可。 父主题: 数据导入/导出
导出单个数据库 导出数据库 导出模式 导出表 父主题: 使用gs_dump和gs_dumpall命令导出元数据
FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
同一区域的OBS存储桶,然后将数据文件上传到该存储桶。 创建外表,用于引流OBS存储桶中的数据到GaussDB(DWS)集群。 启动GaussDB(DWS)并创建数据库表后,将OBS上的数据导入到表中。 根据错误表中的提示诊断加载错误并更正这些错误。 估计时间:30分钟 准备数据源文件
OBS or Hadoop)。 创建的外表分为只读外表(READ ONLY)和只写外表(WRITE ONLY)。缺省为只读外表。数据导入集群时,请将外表设为READ ONLY;导出时,请设为WRITE ONLY。 外表由命令执行者所有; OBS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
导出所有数据库 导出所有数据库 导出全局对象 父主题: 使用gs_dump和gs_dumpall命令导出元数据
您必须给指定的用户授予所需的OBS访问权限: 通过OBS外表导入数据到GaussDB(DWS)时,执行导入操作的用户必须具备数据源文件所在的OBS桶和对象的读取权限。 通过OBS外表导出数据时,执行导出操作的用户必须具备数据导出路径所在的OBS桶和对象的读取和写入权限。 有关配置OB
ore导入数据。 模式级导出。 导出模式的全量信息。 仅导出模式中数据。 仅导出对象的定义,包含表定义、存储过程定义和索引定义等。 表级导出。 导出表的全量信息。 仅导出表中数据。 仅导出表的定义。 导出所有数据库 数据库级导出。 导出全量信息。 使用导出的全量信息可以创建与当前
ALTER FOREIGN TABLE (GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET