检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源类型,其中包含: OBS MRS data_source_name 是 String 数据源名称。仅可包含大小写字母,数字,下划线,1到64个字符。 user_name 是 String 用户名。仅可包含大小写字母,数字,下划线,3到20个字符。 数据源类型为OBS时,传对应OBS委托名称。
提供对之前版本的前向兼容。原PG_JOB_PROC系统表已经和原PG_JOB系统表一同并入当前版本的PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB_PROC字段 名字 类型 描述 job_id bigint 作业ID。 what text
PG_JOB视图用于代替历史版本的PG_JOB系统表,提供对之前版本的前向兼容。原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。 current_postgres_pid
导入数据最佳实践 从OBS并行导入数据 将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件
转储目录分区:支持审计日志转储时可采用OBS外表读取,转储至OBS时审计日志会采用csv格式且使用gz格式压缩。 OBS桶:存储审计数据的OBS桶名称。如果没有可选择的OBS桶,可以单击“查看OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。 OBS路径:在
PG_JOB视图用于代替历史版本的PG_JOB系统表,提供对之前版本的前向兼容。原PG_JOB系统表已经变更为PG_JOBS系统表,关于PG_JOBS系统表的描述详见PG_JOBS。 表1 PG_JOB字段 名字 类型 描述 job_id bigint 作业ID。 current_postgres_pid
通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选
hash(L_ORDERKEY); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
PG_LIFECYCLE_DATA_DISTRIBUTE PG_LIFECYCLE_DATA_DISTRIBUTE视图查询OBS多温表中冷热数据分布情况。 表1 PG_LIFECYCLE_DATA_DISTRIBUTE字段 名称 类型 描述 schemaname name 模式名。
refresh_hot_storage('multi_temper_table'); refresh_hot_storage --------------------- 4 (1 row) refresh_hot_storage(relname text,partname
PG_LIFECYCLE_DATA_DISTRIBUTE PG_LIFECYCLE_DATA_DISTRIBUTE视图查询OBS多温表中冷热数据分布情况。 表1 PG_LIFECYCLE_DATA_DISTRIBUTE字段 名称 类型 描述 schemaname name 模式名。
据源等功能。 存算一体(单机部署)中,原有指定分布列语法将被忽略,此外不支持job定时任务、SEQUENCE类型、HDFS/OBS外表导入导出(其中OBS外表导入导出8.2.0及以上版本支持)、多温存储、自增分区表等功能。 存算分离集群仅9.0.2及以上集群版本支持快照功能。
HASH(ID); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
hash(hphm); 创建外表。外表用于识别和关联OBS上的源数据。 其中,<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见支持区域。GaussDB(DWS) 集群不支持跨区域访问OBS桶数据。 <Access_Key_Id>和<
磁盘缓存主动预热调优 该功能仅9.1.0.200及以上版本支持。 背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据流程时,数据
参数说明:控制是否打开文件缓存。该参数受enable_aio_scheduler和obs_worker_pool_size的前置控制;只有在enable_aio_scheduler=on以及obs_worker_pool_size>=4的前提下,此参数为on才会生效。 参数类型:USERSET
起始快照名称 自定义选择。 说明: 起始快照时间必须早于结束快照时间。 - 结束快照名称 自定义选择。 - OBS桶 桶名称,自定义选择,用于存储报告。 test123 OBS路径 存储目录,自定义填写(多级目录可用“/”进行分隔,不能以“/”开头。取值范围:1~50个字符)。 wdr
冷热表用户函数 pg_obs_cold_refresh_time(table_name, time) 描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表表名,类型为name,time为数据切换任务调度时间,类型为Time。 返回值:SUCCESS,任务时间修改成功。
更新数据源 功能介绍 该接口用于更新一个数据源。 调用方法 请参见如何调用API。 URI PUT /v1.0/{project_id}/clusters/{cluster_id}/ext-data-sources/{ext_data_source_id} 表1 路径参数 参数 是否必选
测试GaussDB(DWS)连通 步骤五:创建DLI Flink作业 登录OBS管理控制台,创建OBS桶,用于保存Flink运行作业,参见OBS用户指南。 关键参数按如下填写,其他参数默认即可。 区域:华北-北京四 桶名称:dli-obs01 (如提示冲突,可以依次递增到02、03) 桶策略:私有