检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
roundrobin; 执行以下SQL,通过外表查询DLI的表数据。 结果显示,成功访问DLI表数据。 1 SELECT * FROM dws_data.dli_pq_order; 执行以下SQL,创建一张新的本地表,用于导入DLI表数据。 1 2 3 4 5 6 CREATE TABLE
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。
\xdeadbeef (4 rows) 对同一张外表重复导出会覆盖之前的文件,因此不要对同一个外表重复导出。 若不确定文件是否为标准的csv格式,推荐将quote参数设置为0x07,0x08或0x1b等不可见字符来进行GDS导入导出,避免文件格式问题导致任务失败。 1 2 3 4 5
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
rows) 查询结果中,每一行代表一个外部服务器的信息。与MRS数据源连接相关联的外部服务器包含以下信息: srvname值包含“hdfs_server”字样以及MRS集群的ID,此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的address参数
6为例),并选择以密码方式登录。 创建集群并下载工具包 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置 参数名称 配置方式 区域 选择“华北-北京四”。 说明: 本指导以“华北-北
在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,用于对接GDS和GaussDB(DWS),将数据服务器上的数据导入到GaussDB(DWS)集群中。 启动GaussDB(DWS)并创建数据库表后,将数据导入到表中。 根据
GDS外表系统内部默认以ROUNDROBIN分布方式创建,不支持在创建外表时显式添加ROUNDROBIN分布信息。 处理方法 在创建GDS外表时,去除指定的分布信息,即去掉语句中显示指定的“DISTRIBUTE BY ROUNDROBIN”即可。 父主题: 数据导入/导出
FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
导出单个数据库 导出数据库 导出模式 导出表 父主题: 使用gs_dump和gs_dumpall命令导出元数据
使用GDS传输数据的过程中,报错:connection failure error 问题现象 在使用GDS传输数据的过程中,报错“connection failure error”。 原因分析 GDS进程崩溃。执行命令检查GDS进程是否崩溃: ps ux|grep gds 如果返回结果如下,则说明GDS进程启动成功:
同一区域的OBS存储桶,然后将数据文件上传到该存储桶。 创建外表,用于引流OBS存储桶中的数据到GaussDB(DWS)集群。 启动GaussDB(DWS)并创建数据库表后,将OBS上的数据导入到表中。 根据错误表中的提示诊断加载错误并更正这些错误。 估计时间:30分钟 准备数据源文件
您必须给指定的用户授予所需的OBS访问权限: 通过OBS外表导入数据到GaussDB(DWS)时,执行导入操作的用户必须具备数据源文件所在的OBS桶和对象的读取权限。 通过OBS外表导出数据时,执行导出操作的用户必须具备数据导出路径所在的OBS桶和对象的读取和写入权限。 有关配置OB
FOREIGN TABLE (GDS导入导出) 创建GDS外表。 功能描述 在当前数据库创建一个GDS外表,用于数据并行导入导出。GDS外表分为只读外表和只写外表,分别用于数据并行导入和并行导出,缺省为只读外表。 注意事项 外表由命令执行者所有; GDS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
OBS or Hadoop)。 创建的外表分为只读外表(READ ONLY)和只写外表(WRITE ONLY)。缺省为只读外表。数据导入集群时,请将外表设为READ ONLY;导出时,请设为WRITE ONLY。 外表由命令执行者所有; OBS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
OBS or Hadoop)。 创建的外表分为只读外表(READ ONLY)和只写外表(WRITE ONLY)。缺省为只读外表。数据导入集群时,请将外表设为READ ONLY;导出时,请设为WRITE ONLY。 外表由命令执行者所有; OBS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式;
导出所有数据库 导出所有数据库 导出全局对象 父主题: 使用gs_dump和gs_dumpall命令导出元数据