检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取源数据的OBS路径并设置读取权限 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 获取数据源文件的OBS路径。 数据源文件在上传到OBS桶之后,会生成全局唯一的访问路径。在创建外表时需要指定数据源文件的OBS路径。 如何查看OBS路径,
创建OBS外表 操作步骤 根据上传数据到OBS中规划的路径,由此确定创建外表时使用的参数loaction的值。 用户获取OBS访问协议对应的AK值和SK值。获取访问密钥,请登录管理控制台,单击右上角的用户名并选择菜单“我的凭证”,然后在左侧导航树单击“访问密钥”。在访问密钥页面,
将数据源文件均匀上传至OBS数据服务器的“/input-data1/data/”和“/input-data2/data/”目录中。 在GaussDB(DWS)上,创建外表tpcds.customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx
OBS / HDFS / DLI GS_138110058 错误码: Invalid option %s. 解决方案:此上下文中的有效选项为:%s。 level: ERROR GS_138110072 错误码: Need type option for the server. 解决方案:此处的有效选项为:%s。
梳理待导出数据的格式信息,确定创建外表时使用的数据格式参数的值。详细使用请参见数据格式参数。 根据前面步骤确定的参数,创建OBS外表。 示例一 例如,在GaussDB(DWS)数据库中,创建一个format参数为text的只写外表,用于导出text文件。设置的参数信息如下所示:
good." 上传数据到OBS 上传数据到OBS。 将待导入的数据源文件存储在OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。 例如,创建以
通过外表查询OBS上的数据 直接查询外表查看OBS上的数据 如果数据量较少,可直接使用SELECT查询外表,即可查看到OBS上的数据。 执行以下命令,则可以从外表查询数据。 1 SELECT * FROM product_info_ext_obs; 查询结果显示与原始数据显示相
GS_OBSSCANINFO GS_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行时信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 GS_OBSSCANINFO字段 名字 类型 引用 描述 query_id bigint
PG_OBSSCANINFO PG_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行时信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 PG_OBSSCANINFO字段 名字 类型 引用 描述 query_id bigint
关于OBS并行导入 对象存储服务OBS(Object Storage Service)是云上提供的一个基于对象的海量存储服务,为客户提供安全、高可靠、低成本的数据存储能力。OBS为用户提供了超大存储容量的能力,适合存放任意类型的文件。 数据仓库服务GaussDB(DWS)使用OB
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
数据源文件:存储有数据的TEXT、CSV文件。 OBS:对象存储服务,是一种可存储文档、图片、影音视频等非结构化数据的云存储服务。从GaussDB(DWS)并行导出数据时,数据对象放置在OBS服务器上。 桶(Bucket):对OBS中的一个存储空间的形象称呼,是存储对象的容器。 对象存储是一种非常扁平化的存储方式,桶
PG_JOBS PG_JOBS系统表存储用户创建的定时任务的任务详细信息,定时任务线程定时轮询pg_jobs系统表中的时间,当任务到期会触发任务的执行。该系统表属于Shared Relation,所有创建的job记录对所有数据库可见。 表1 PG_JOBS字段 名字 类型 描述 job_id
GS_OBS_LATENCY GS_OBS_LATENCY记录logtime之前10分钟内OBS的平均延迟信息,延迟数据是根据相关OBS的操作进行估算的结果。该视图仅8.2.0及以上集群版本支持。 表1 GS_OBS_LATENCY字段 名称 类型 描述 nodename text
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
若显式指定此参数,域名信息将会读取指定的region参数;若此参数不指定,则读取defaultRegion的值,即安装集群时指定的region。 TEXT、CSV格式的OBS导入导出外表格式参数使用说明如下: location参数必选,其中前缀gsobs、obs均支持,都识别为OBS的信息,若为gsobs时,其中包含obs
当前用户授权给DWS服务的具有OBS OperateAccess权限的委托。 数据库 要创建的OBS数据源连接所在的数据库。 描述 要创建的OBS数据源连接的描述信息。 确认无误后,单击“确认”按钮,提交创建操作,创建过程大约需要10秒钟左右。 更新OBS数据源配置 操作场景 当OBS数据源连
将上面准备的3个CSV格式的数据源文件存储到OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务》“快速入门”中的创建桶。 例如,创建以下两个桶:“mybucket”和“mybucket02”。
导出CSV、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题: 导出数据到OBS
从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题: 从OBS并行导入数据