检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题： 导入数据
GS_OBS_WRITE_TRAFFIC GS_OBS_WRITE_TRAFFIC视图，统计OBS写流量和平均写带宽，统计结果按10分钟聚集。该视图仅8.2.0及以上集群版本支持。 名称 类型 描述 nodename TEXT 集群节点。 hostname TEXT 主机节点。 traffic_mb
将上面准备的3个CSV格式的数据源文件存储到OBS桶中。 登录OBS管理控制台。 单击“服务列表”，选择“对象存储服务”，打开OBS管理控制台页面。 创建桶。 如何创建OBS桶，具体请参见《对象存储服务》“快速入门”中的创建桶。 例如，创建以下两个桶：“mybucket”和“mybucket02”。
GS_OBS_READ_TRAFFIC GS_OBS_READ_TRAFFIC视图，统计OBS读流量和平均读带宽，统计结果按10分钟聚集。该视图仅8.2.0及以上集群版本支持。 名称 类型 描述 nodename TEXT 集群节点。 hostname TEXT 主机节点。 traffic_mb
行成功，产生数据覆盖现象，建议用户在执行OBS外表导出任务时，不要往同一OBS外表并发导出。 多表并发导出操作步骤 通过创建的两个外表，将数据库中的两个表分别导出至OBS的桶中。 用户通过管理控制台登录到OBS数据服务器。在OBS数据服务器上，分别创建数据文件存放的两个桶“/in
USER_JOBS USER_JOBS视图为当前用户所属定时任务的详细信息。需要有系统管理员权限才可以访问此系统视图。 表1 USER_JOBS字段 名字 类型 描述 job int4 作业ID。 log_user name not null 创建者的UserName。 priv_user
GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别？ OBS与GDS外表支持格式文件区别如下： OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式，导出支持ORC、CSV、TEXT文件格式，缺省值为TEXT。 GD
TEXT、CSV格式的OBS导入导出外表格式参数使用说明如下： location参数必选，其中前缀gsobs、obs均支持，都识别为OBS的信息，若为gsobs时，其中包含obs url、bucket、prefix，若为obs时则表示bucket、prefix。 多个桶的数据源数据之间使用分隔符‘|’进行分割，LOCATION
规划导出数据 OBS导出数据准备：请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型（数据源表） GaussDB(DWS)只写外表对应的类型 HIVE建表类型
FOREIGN TABLE IF EXISTS product_info_ext_obs; ---建立不包含分区列的OBS外表，表关联的外部服务器为obs_server，表对应的OBS服务上的文件格式为‘orc’，OBS上的数据存储路径为'/mybucket/data/'。 CREATE
创建外部服务器 本章节包含创建OBS外部服务器和创建HDFS外部服务器。 创建OBS外部服务器的步骤如下： 创建外部服务器 使用即将创建外部服务器的用户去连接其对应的数据库。 在本示例中，将使用（可选）新建用户及数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase
据。 根据规划准备OBS存储位置和OBS桶的写权限 创建OBS桶，并在OBS桶中新建文件夹作为导出数据的存放目录。 登录OBS管理控制台。 单击“服务列表”，选择“对象存储服务”，打开OBS管理控制台页面。 创建桶。 如何创建OBS桶，具体请参见《对象存储服务控制台指南》中的创建桶章节。
dfs_server 外表的外部服务器名称，这个server必须存在。外表通过设置外部服务器连接OBS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数，关键参数如下所示。 “format”：表示对应的OBS服务上的文件格式，支持“
product_price>500; 对于特殊的数据类型如RAW类型，在导出之后是一个二进制文本，导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题： 导出ORC数据到OBS
ALTER FOREIGN TABLE (For HDFS or OBS) 功能描述 对HDFS外表和OBS外表进行修改。 注意事项 无。 语法格式 设置外表属性： 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS
product_info_ext_obs; 当结果显示为如下信息，则表示删除成功。 1 DROP FOREIGN TABLE 删除创建的外部服务器 使用创建外部服务器的用户连接到外部服务器所在的数据库。 在本示例中，使用的是普通用户dbuser在数据库mydatabase中创建了一个外部服务器。用户需
出失败。 对于特殊的数据类型如RAW类型，在导出之后是一个二进制文本，导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题： 导出CSV、TXT数据到OBS
ALTER FOREIGN TABLE (For HDFS or OBS) 功能描述 对HDFS外表和OBS外表进行修改。 注意事项 无。 语法格式 设置外表属性： 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS
背景信息 在执行数据导入前，您可以参考以下优秀实践方法进行合理的设计部署，最大化的使用系统资源，以提高数据导入性能。 OBS的数据导入性能，多数场景受限于网络的并发访问速率，因此在OBS服务器上最好部署多个桶，使用多桶并发导入，提高DN数据传输利用率。 并发导入场景，与单表导入相似，至少应保证I/O性能大于网络最大速率。
存在。 OPTIONS参数 address 指定OBS服务的终端节点。 address的获取方法如下： 先通过OBS上的数据准备中的2获取OBS路径。 在OBS上查看到的OBS路径，为OBS服务终端节点（Endpoint）：obs.example.com。 访问密钥（AK和SK）（必选）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
