检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看GaussDB(DWS)外部表信息? 如果需要查询OBS、GDS等外表信息(如OBS路径),可以执行以下语句查询。 1 SELECT * FROM pg_get_tabledef('外表名称') 例如,表名为traffic_data.GCJL_OBS,查询如下: 1 SELECT * FROM
GS_OBS_LATENCY GS_OBS_LATENCY记录logtime之前10分钟内OBS的平均延迟信息,延迟数据是根据相关OBS的操作进行估算的结果。该视图仅8.2.0及以上集群版本支持。 表1 GS_OBS_LATENCY字段 名称 类型 描述 nodename text
USER_JOBS USER_JOBS视图为当前用户所属定时任务的详细信息。需要有系统管理员权限才可以访问此系统视图。 表1 USER_JOBS字段 名字 类型 描述 job int4 作业ID。 log_user name not null 创建者的UserName。 priv_user
GS_OBS_READ_TRAFFIC GS_OBS_READ_TRAFFIC视图,统计OBS读流量和平均读带宽,统计结果按10分钟聚集。该视图仅8.2.0及以上集群版本支持。 名称 类型 描述 nodename TEXT 集群节点。 hostname TEXT 主机节点。 traffic_mb
GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? OBS与GDS外表支持格式文件区别如下: OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式,导出支持ORC、CSV、TEXT文件格式,缺省值为TEXT。 GD
普通用户创建或删除GDS/OBS外表语句时报错,提示没有权限或权限不足 问题现象 创建GDS或OBS外表语句时,管理员用户可以执行成功,但普通用户执行时报错“ERROR: permission denied to create foreign table in security mode
创建外表 Data Studio暂不支持创建外表,只支持查看外表。 刷新“对象浏览器”后,可查看在“SQL终端”或任何其他工具中执行创建的外表。 在数据库、模式、或外表组级别单击右键并选择“刷新”查看新创建的外表。 父主题: 表管理
数据如何存储到GaussDB(DWS)? GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。 用户可以通过GaussDB(DWS
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。 授权使用OBS数据源 执行GRANT命令给用户授予使用OBS数据源的权限: 1 GRANT USAGE ON FOREIGN SERVER server_name TO role_name;
视图对象定义。 视图的DDL会显示在新“SQL终端”页签中。要查看最新DDL,必须刷新“对象浏览器”页签。 导出视图DDL 可通过右键单击“导出DDL”导出该视图的定义。 在“对象浏览器”窗格中,右键单击所选视图,选择“导出DDL”。 用户需自定义导出路径。如果需要将数据压缩,勾选“
转储目录分区:支持审计日志转储时可采用OBS外表读取,转储至OBS时审计日志会采用csv格式且使用gz格式压缩。 OBS桶:存储审计数据的OBS桶名称。如果没有可选择的OBS桶,可以单击“查看OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。 OBS路径:在
号等信息。 步骤二:上传数据到OBS桶 创建OBS桶,并将本地的csv格式数据上传到OBS桶。 步骤三:连接GaussDB(DWS)集群并导入数据进行分析 使用SQL编辑器连接GaussDB(DWS)数据库,并创建OBS外表,通过OBS外表将OBS桶数据导入GaussDB(DWS)集群,并进行简单SQL查询。
创建Hudi数据描述(外表) 外表是对OBS上数据的映射。GaussDB(DWS)通过外表方式访问OBS上的Hudi数据,具体可参见CREATE FOREIGN TABLE (SQL on OBS or Hadoop)。 与一般OBS外表相比,Hudi外表没有特别的参数需要指定,
提供对之前版本的前向兼容。原PG_JOB_PROC系统表已经和原PG_JOB系统表一同并入当前版本的PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB_PROC字段 名字 类型 描述 job_id bigint 作业ID。 what text
PG_JOB视图用于代替历史版本的PG_JOB系统表,提供对之前版本的前向兼容。原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。 current_postgres_pid
PG_JOB视图用于代替历史版本的PG_JOB系统表,提供对之前版本的前向兼容。原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。 current_postgres_pid
提供对之前版本的前向兼容。原PG_JOB_PROC系统表已经和原PG_JOB系统表一同并入当前版本的PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB_PROC字段 名字 类型 描述 job_id bigint 作业ID。 what text
Studio服务创建GaussDB(DWS)外表时不支持中文,如何处理 问题现象 使用DataArts Studio服务创建GaussDB(DWS)的OBS外表,并且在创建外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。
hash(hphm); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
户模式”下。 创建模式 在“对象浏览器”窗格中,右键单击“用户模式”组,选择“创建模式”。 对于“系统模式”组,仅能执行刷新操作。 输入模式名称,单击“确定”。仅在数据库连接为active时,可创建模式。 状态栏显示已完成操作的状态。 “对象浏览器”窗格中显示所创建的模式。 Data