检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保安全。 TYPE表示创建的Server为OBS Server。请保持OBS取值不变。 创建OBS外表json_f ,定义字段名,以d#2_e为例,从命名可以看出该字段是数组d的第二个元素里嵌套的e对象。表关联的OBS服务器为obs_server。foldername为外表中数
格式错误 字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 从OBS导入CSV、TXT数据
在本示例中,将导入OBS数据到GaussDB(DWS)集群数据库中。云平台用户通过客户端或API、SDK等方式访问OBS时,需要通过AK/SK认证方式进行认证鉴权。因此,当您需要通过客户端或JDBC/ODBC应用程序等方式连接GaussDB(DWS)数据库访问OBS时,必须先获取访问密钥(AK和SK)。
不同的结果,在高精度要求场景下建议使用DECIMAL类型代替。 兼容Teradata数据库模式下,外表不支持DATE类型。 父主题: 从OBS导入ORC、CARBONDATA数据
PGXC_OBS_IO_SCHEDULER_STATS PGXC_OBS_IO_SCHEDULER_STATS视图显示OBS IO Scheduler读/写请求相关的近期实时统计信息。该系统视图仅9.1.0及以上版本支持。 表1 PGXC_OBS_IO_SCHEDULER_STATS字段
region。 TEXT、CSV格式的OBS导入导出外表格式参数使用说明如下: location参数必选,其中前缀gsobs、obs均支持,都识别为OBS的信息,若为gsobs时,其中包含obs url、bucket、prefix,若为obs时则表示bucket、prefix。
PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS视图统计了OBS IO Scheduler不同请求类型(包括读/写/文件操作)下的请求数量、流控信息等内容。该系统视图仅9.1.0及以上版本支持。
钥”创建并下载访问密钥。 账户OBS权限不足,对OBS桶没有读、写权限 您必须给指定的用户授予所需的OBS访问权限: 通过OBS外表导入数据到GaussDB(DWS)时,执行导入操作的用户必须具备数据源文件所在的OBS桶和对象的读取权限。 通过OBS外表导出数据时,执行导出操作的
GS_OBSSCANINFO GS_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 GS_OBSSCANINFO字段 名字 类型 描述 query_id bigint 查询标识。
PG_OBSSCANINFO PG_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行时信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 PG_OBSSCANINFO字段 名字 类型 引用 描述 query_id bigint
PG_JOBS PG_JOBS系统表存储用户创建的定时任务的任务详细信息,定时任务线程定时轮询pg_jobs系统表中的时间,当任务到期会触发任务的执行。该系统表属于Shared Relation,所有创建的job记录对所有数据库可见。 表1 PG_JOBS字段 名字 类型 描述 job_id
USER_JOBS USER_JOBS视图为当前用户所属定时任务的详细信息。需要有系统管理员权限才可以访问此系统视图。 表1 USER_JOBS字段 名字 类型 描述 job int4 作业ID。 log_user name not null 创建者的UserName。 priv_user
如何查看GaussDB(DWS)外部表信息? 如果需要查询OBS、GDS等外表信息(如OBS路径),可以执行以下语句查询。 1 SELECT * FROM pg_get_tabledef('外表名称') 例如,表名为traffic_data.GCJL_OBS,查询如下: 1 SELECT * FROM
表4 计费公式 资源类型 计费公式 资源单价 冷数据存储 冷数据存储容量(GB)*冷数据存储容量价格*计费时长(小时)*购买数量 请参见数据仓库服务价格详情中的“规格价格”。 下图给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以GaussDB(DWS)价格详情中的价格为准。
GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? OBS与GDS外表支持格式文件区别如下: OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式,导出支持ORC、CSV、TEXT文件格式,缺省值为TEXT。 GD
数据如何存储到GaussDB(DWS)? GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。 用户可以通过GaussDB(DWS
按需计费是否可通过关机暂停使用来节省费用? 支持。按需计费模式,系统会按小时扣减费用,只要您账户上有足够余额,就默认一直在使用服务。为了节约成本为您推荐以下方式: 选择集群操作列“更多 > 停止”停止集群。需要注意的是,集群停止后只是不收取基础资源(vCPU、内存)费用,其上绑定的公网IP及带宽等仍然正常计费。
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。 授权使用OBS数据源 执行GRANT命令给用户授予使用OBS数据源的权限: 1 GRANT USAGE ON FOREIGN SERVER server_name TO role_name;
普通用户创建或删除GDS/OBS外表语句时报错,提示没有权限或权限不足 问题现象 创建GDS或OBS外表语句时,管理员用户可以执行成功,但普通用户执行时报错“ERROR: permission denied to create foreign table in security mode
创建Hudi数据描述(外表) 外表是对OBS上数据的映射。GaussDB(DWS)通过外表方式访问OBS上的Hudi数据,具体可参见CREATE FOREIGN TABLE (SQL on OBS or Hadoop)。 与一般OBS外表相比,Hudi外表没有特别的参数需要指定,