检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI Flink作业实时同步Kafka数据至(GaussDB)DWS集群 本实践演示通过数据湖探索服务 DLI Flink作业将分布式消息服务 Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。演示过程包括实时写入和更新已有数据的场景。
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
查询磁盘信息 功能介绍 该接口用于查询主机监控磁盘信息。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/dms/disk 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。
导出模式 GaussDB(DWS)目前支持使用gs_dump工具导出模式级的内容,包含模式的数据和定义。用户可通过灵活的自定义方式导出模式内容,不仅支持选定一个模式或多个模式的导出,还支持排除一个模式或者多个模式的导出。可根据需要自定义导出如下信息: 导出模式全量信息,包含数据和对象定义。
调试 语法 RAISE有以下五种语法格式: 图1 raise_format::= 图2 raise_condition::= 图3 raise_sqlstate::= 图4 raise_option::= 图5 raise::= 参数说明: level选项用于指定错误级别,有DE
GaussDB(DWS)存储过程调试 语法 RAISE有以下五种语法格式: 图1 raise_format::= 图2 raise_condition::= 图3 raise_sqlstate::= 图4 raise_option::= 图5 raise::= 参数说明: lev
资源管理 未对数据库资源做控制时,容易出现并发任务抢占资源导致操作系统过载甚至最终崩溃。操作系统过载时,其响应用户任务的速度会变慢甚至无响应;操作系统崩溃时,整个系统将无法对用户提供任何服务。GaussDB(DWS)的负载管理功能能够基于可用资源的多少均衡数据库的负载,以避免数据库系统过载。
gs_restore 背景信息 gs_restore是GaussDB(DWS)提供的针对gs_dump导出数据的导入工具。通过此工具可由gs_dump生成的导出文件进行导入。 主要功能包含: 导入到数据库 如果连接参数中指定了数据库,则数据将被导入到指定的数据库中。其中,并行导入必须指定连接的密码。
创建集群前检查 功能介绍 该接口用于创建集群前预检查。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/cluster-precheck 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。
导出表 GaussDB(DWS)支持使用gs_dump工具导出表级的内容,包含表定义和表数据。视图、序列和外表属于特殊的表。用户可通过灵活的自定义方式导出表内容,不仅支持选定一个表或多个表的导出,还支持排除一个表或者多个表的导出。可根据需要自定义导出如下信息: 导出表全量信息,包含表数据和表定义。
安全和认证(postgresql.conf) 介绍设置客户端和服务器的安全认证方式的相关参数。 authentication_timeout 参数说明:完成客户端认证的最长时间。如果一个客户端没有在这段时间里完成与服务器端的认证,则服务器自动中断与客户端的连接,这样就避免了出问题的客户端无限制地占用连接数。
HStore表使用优秀实践 基本原理 在GaussDB(DWS)中,CU是列存表存储数据的最小单元。列存表每列默认存储60000行数据为一个CU,CU生成后数据固定不可更改。无论是向列存表中插入1条还是60000条数据,都只会生成一个CU,在多次插入少量数据时,由于不能有效利用列
gs_dumpall 背景信息 gs_dumpall是GaussDB(DWS)用于导出所有数据库相关信息工具,它可以导出集群数据库的所有数据,包括默认数据库postgres的数据、自定义数据库的数据、以及集群所有数据库公共的全局对象。 gs_dumpall工具在进行数据导出时,其他用户可以访问集群数据库(读或写)。
使用gs_restore导入数据 操作场景 gs_restore是GaussDB(DWS)提供的与gs_dump配套的导入工具。通过该工具,可将gs_dump导出的文件导入至数据库。gs_restore支持导入的文件格式包含自定义归档格式、目录归档格式和tar归档格式。 gs_restore具备如下两种功能。
JSON类型 JSON数据类型可以用来存储JSON(JavaScript Object Notation)数据。 可以是单独的一个标量,也可以是一个数组,也可以是一个键值对象,其中数组和对象可以统称容器(container): 标量(scalar):单一的数字、bool、string、null都可以叫做标量。
JSON类型 JSON数据类型可以用来存储JSON(JavaScript Object Notation)数据。 可以是单独的一个标量,也可以是一个数组,也可以是一个键值对象,其中数组和对象可以统称容器(container): 标量(scalar):单一的数字、bool、string、null都可以叫做标量。
JSON类型 JSON数据类型可以用来存储JSON(JavaScript Object Notation)数据。 可以是单独的一个标量,也可以是一个数组,也可以是一个键值对象,其中数组和对象可以统称容器(container): 标量(scalar):单一的数字、bool、string、null都可以叫做标量。
调优前:学习表结构设计 在本实践中,您将学习如何优化表的设计。您首先不指定存储方式,分布键、分布方式和压缩方式创建表,然后为这些表加载测试数据并测试系统性能。接下来,您将应用调优表实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表,并再次为这些表加载测试数据和测试系
8.1.0版本说明 【发布日期】:2021年5月15日 【集群版本号】:8.1.0.100 特性变更 表1 8.1.0特性变更 特性 描述 Analyze强化,支持临时表,支持单事务操作 事务、存储过程支持analyze命令;analyze和alter table并发时不会报错;自动analyze支持临时表场景。
常见问题处理 连接性能问题 数据库内核执行初始化语句较慢导致的性能问题。 此种情况定位较难,可以尝试使用Linux的跟踪命令:strace。 strace gsql -U MyUserName -W {password} -d postgres -h 127.0.0.1 -p 23508