检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS导入CSV、TXT数据 创建访问密钥（AK和SK） 上传数据到OBS 创建OBS外表 执行导入数据 处理导入错误 OBS导入数据示例 父主题： 从OBS并行导入数据
下载客户端”。界面显示“下载集群客户端”对话框。 历史版本的客户端获取方法：请选择“服务管理 > 下载客户端”，“客户端类型”选择“仅配置文件”。 登录MRS集群的Hive客户端。 登录Master节点。 具体操作，请参见《MapReduce服务用户指南》中的登录集群节点。 执行以下命令切换用户： sudo
货币类型 MONEY NUMERIC BIGINT HDFS导出数据准备：HDFS导出准备即配置MRS，具体信息可参考《MapReduce服务用户指南》。 父主题： 导出ORC数据到OBS
数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。如图2所示。 图2 多数据服务器并行导入 GDS进程数目不能超过DN数目。如果超过，会出现一个DN连接多个GDS进程的情形，可能会导致部分GDS异常运行。 数据存储在一台数据服务器上时，如
e模式。 Remote模式：将集群中的业务数据导出到集群之外的主机上。 支持多个GDS服务并发导出，但1个GDS在同一时刻，只能为1个集群提供导出服务。 配置与集群节点处于统一内网的GDS服务，导出速率受网络带宽影响，推荐的网络配置为10GE。 支持数据文件格式：TEXT、CSV和FIXED。单行数据大小需<1GB。
创建外部服务器 本章节包含创建OBS外部服务器和创建HDFS外部服务器。 创建OBS外部服务器的步骤如下： 创建外部服务器 使用即将创建外部服务器的用户去连接其对应的数据库。 在本示例中，将使用（可选）新建用户及数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase
斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法： 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本，实现并发批量导出数
使用gs_dump和gs_dumpall命令导出元数据 概述 导出单个数据库 导出所有数据库 无权限角色导出数据 父主题： 元数据迁移
执行导出 导出操作语法 执行数据导出语法： 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1：将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
概述 GaussDB(DWS)提供的gs_dump和gs_dumpall工具，能够帮助用户导出需要的数据库对象或其相关信息。通过导入工具将导出的元数据信息导入至需要的数据库，可以完成数据库信息的迁移。gs_dump支持导出单个数据库或其内的对象，而gs_dumpall支持导出集群
执行数据导入 直接查询外表查看MRS数据源的数据 如果数据量较少，可直接使用SELECT查询外表，即可查看到MRS数据源的数据。 执行以下命令，则可以从外表查询数据： 1 SELECT * FROM foreign_product_info; 查询结果显示如数据文件中所示的数据
示例 单表导出操作步骤 通过创建外表，将数据库中的单表导出至OBS的两个桶中。 用户通过管理控制台登录到OBS数据服务器。在OBS数据服务器上，分别创建数据文件存放的两个桶“/input-data1”“/input-data2”，并创建每个桶下面的data目录“/input-da
处理导入错误 操作场景 当数据导入发生错误时，请根据本文指引信息进行处理，错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误，一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时，通过设置参数“LOG INTO error_table_name”，
dfs_server 外表的外部服务器名称，这个server必须存在。外表通过设置外部服务器连接OBS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数，关键参数如下所示。 “format”：表示对应的OBS服务上的文件格式，支持“
GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大，数据存储在多个服务器上时，在每个数据服务器上安装配置、启动GDS后，各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同，本节以一台服务器为例进行说明。
创建外部服务器 创建外部服务器，用于定义OBS服务器的信息，供外表调用。 （可选）新建用户及数据库并授予外表权限 如果您将使用普通用户在自定义数据库中创建外部服务器和外表，由于普通用户没有外表权限无法创建，所以，您必须参照以下步骤新建用户和数据库，并授予该用户外表权限。 以下示例
type_name：字段的数据类型。 多个字段用“,”隔开。 SERVER dfs_server 外表的外部服务器名称，这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数，关键参数如下所示。
创建OBS外表 操作步骤 根据上传数据到OBS中规划的路径，由此确定创建外表时使用的参数loaction的值。 用户获取OBS访问协议对应的AK值和SK值。获取访问密钥，请登录管理控制台，单击右上角的用户名并选择菜单“我的凭证”，然后在左侧导航树单击“访问密钥”。在访问密钥页面，
在执行数据导入前，您可以参考以下优秀实践方法进行合理的设计部署，最大化的使用系统资源，以提高数据导入性能。 OBS的数据导入性能，多数场景受限于网络的并发访问速率，因此在OBS服务器上最好部署多个桶，使用多桶并发导入，提高DN数据传输利用率。 并发导入场景，与单表导入相似，至少应保证I/O性能大于网络最大速率。 配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
