检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
背景信息 在执行数据导入前,您可以参考以下优秀实践方法进行合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景,与单表导入相似,至少应保证I/O性能大于网络最大速率。
GaussDB(DWS) PL/Java语言函数 使用GaussDB(DWS)数据库的PL/Java函数,用户可以使用自己喜欢的Java IDE编写Java方法,并将包含这些方法的jar文件安装到GaussDB(DWS)数据库中,然后使用该方法。GaussDB(DWS) PL/Java基于开源PL/Java
FOREIGN TABLE IF EXISTS product_info_ext_obs; ---建立不包含分区列的OBS外表,表关联的外部服务器为obs_server,表对应的OBS服务上的文件格式为‘orc’,OBS上的数据存储路径为'/mybucket/data/'。 CREATE
ALTER FOREIGN TABLE (For HDFS or OBS) 功能描述 对HDFS外表和OBS外表进行修改。 注意事项 无。 语法格式 设置外表属性: 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS
使用Hudi前准备 前提条件 已完成创建OBS委托以及创建OBS数据源,具体可参见管理OBS数据源。 授权使用OBS数据源 执行GRANT命令给用户授予使用OBS数据源的权限: 1 GRANT USAGE ON FOREIGN SERVER server_name TO role_name;
如果需要使用访问密钥,可以重新创建新的访问密钥。 打开下载下来的“credentials.csv”文件即可获取到访问密钥(AK和SK)。 注意事项 当用户发现访问密钥被异常使用(包括丢失,泄露等情况),或不再使用访问密钥时,建议在访问密钥列表中立即删除密钥或者通知管理员重置相关密钥。
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型
ALTER FOREIGN TABLE (For HDFS or OBS) 功能描述 对HDFS外表和OBS外表进行修改。 注意事项 无。 语法格式 设置外表属性: 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS
出失败。 对于特殊的数据类型如RAW类型,在导出之后是一个二进制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题: 导出CSV、TXT数据到OBS
Flink作业 登录OBS管理控制台,创建OBS桶,用于保存Flink运行作业,参见OBS用户指南。 关键参数按如下填写,其他参数默认即可。 区域:华北-北京四 桶名称:dli-obs01 (如提示冲突,可以依次递增到02、03) 桶策略:私有 回到DLI管理控制台,左侧选择“作业管理 > F
格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(DWS)自身支持数据类型间进行匹配,匹配状况如表1所示。同理,GaussDB(DWS)可通过只写外表将数据导出存储为ORC文件格式,使用HIV
product_price>500; 对于特殊的数据类型如RAW类型,在导出之后是一个二进制文本,导入工具无法识别。需使用RAWTOHEX()函数将其转换为16进制文本导出。 父主题: 导出ORC数据到OBS
format、java - UDF GS_208140022 错误码: incompatible library %s: missing magic block. 解决方案:使用PG_MODULE_MAGIC宏需要使用扩展库。 level: ERROR GS_208140076 错误码:
PGXC_OBS_IO_SCHEDULER_STATS PGXC_OBS_IO_SCHEDULER_STATS视图显示OBS IO Scheduler读/写请求相关的近期实时统计信息。该系统视图仅9.1.0及以上版本支持。 表1 PGXC_OBS_IO_SCHEDULER_STATS字段
GS_OBSSCANINFO GS_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 GS_OBSSCANINFO字段 名字 类型 描述 query_id bigint 查询标识。
PG_OBSSCANINFO PG_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行时信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 PG_OBSSCANINFO字段 名字 类型 引用 描述 query_id bigint
格式错误 字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 从OBS导入CSV、TXT数据
事件管理 查询事件列表 查询事件配置 查询订阅事件 创建订阅事件 更新订阅事件 删除订阅事件 父主题: API说明
您必须给指定的用户授予所需的OBS访问权限: 通过OBS外表导入数据到GaussDB(DWS)时,执行导入操作的用户必须具备数据源文件所在的OBS桶和对象的读取权限。 通过OBS外表导出数据时,执行导出操作的用户必须具备数据导出路径所在的OBS桶和对象的读取和写入权限。 有关配置OBS权限的具体操
PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS PGXC_OBS_IO_SCHEDULER_PERIODIC_STATS视图统计了OBS IO Scheduler不同请求类型(包括读/写/文件操作)下的请求数量、流控信息等内容。该系统视图仅9.1.0及以上版本支持。