云服务器内容精选
-
jsonb高级特性 json和jsonb的主要差异在于存储方式上的不同，jsonb存储的是解析后的二进制，能够体现JSON的层次结构，更便于直接访问等，因此jsonb较json具有很多高级特性。 格式归一化 对于输入的object-json字符串，解析成jsonb二进制后，会天然的丢弃语义上无关紧要的细节，比如空格： 1 2 3 4 5 SELECT ' [1, " a ", {"a" :1 }] '::jsonb; jsonb ---------------------- [1, " a ", {"a": 1}] (1 row) 对于object-json，会删除重复的键值，只保留最后一个出现的，例如： 1 2 3 4 5 SELECT '{"a" : 1, "a" : 2}'::jsonb; jsonb ---------- {"a": 2} (1 row) 对于object-json，键值会重新进行排序，排序规则：长度长的在后、长度相等则ascii码大的在后，例如： 1 2 3 4 5 SELECT '{"aa" : 1, "b" : 2, "a" : 3}'::jsonb; jsonb --------------------------- {"a": 3, "b": 2, "aa": 1} (1 row)
-
输入格式 json和jsonb输入必须是一个符合JSON数据格式的字符串，此字符串用单引号''声明。 null (null-json)：仅null，全小写。 1 2 SELECT 'null'::json; -- suc SELECT 'NULL'::jsonb; -- err 数字 (num-json)：正负整数、小数、0，支持科学计数法。 1 2 3 4 SELECT '1'::json; SELECT '-1.5'::json; SELECT '-1.5e-5'::jsonb, '-1.5e+2'::jsonb; SELECT '001'::json, '+15'::json, 'NaN'::json; -- 不支持多余的前导0，正数的+号，以及NaN和infinity。 布尔(bool-json)：仅true、false，全小写。 1 2 SELECT 'true'::json; SELECT 'false'::jsonb; 字符串(str-json)：必须是加双引号的字符串。 1 2 SELECT '"a"'::json; SELECT '"abc"'::jsonb; 数组(array-json)：使用中括号[]包裹，满足数组书写条件。数组内元素类型可以是任意合法的JSON，且不要求类型一致。 1 2 3 SELECT '[1, 2, "foo", null]'::json; SELECT '[]'::json; SELECT '[1, 2, "foo", null, [[]], {}]'::jsonb; 对象(object-json)：使用大括号{}包裹，键必须是满足JSON字符串规则的字符串，值可以是任意合法的JSON。 1 2 3 SELECT '{}'::json; SELECT '{"a": 1, "b": {"a": 2, "b": null}}'::json; SELECT '{"foo": [true, "bar"], "tags": {"a": 1, "b": null}}'::jsonb;
-
列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型，暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数，别名为INT2。 2 integer 常用的整数，别名为INT4。 4 bigint 大范围的整数，别名为INT8。 8 decimal 任意精度型。 可变长度 numeric 任意精度型。 可变长度 real 单精度浮点数。 4 double precision 双精度浮点数。 8 smallserial 二字节序列整型。 2 serial 四字节序列整型。 4 bigserial 八字节序列整型。 8 货币类型 money 货币金额。 8 字符类型 character varying(n), varchar(n) 变长字符串。 可变长度 character(n), char(n) 定长字符串。 n character、char 单字节内部类型。 1 text 变长字符串。 可变长度 nvarchar2 变长字符串。 可变长度 clob 文本大对象。 可变长度 日期/时间类型 timestamp with time zone 日期和时间，带时区。 8 timestamp without time zone 日期和时间。 8 date Oracle兼容模式下记录日期和时间；其他兼容模式下，记录日期。 Oracle兼容模式下，占存储空间8字节；其他兼容模式下，占存储空间4字节。 time without time zone 只用于一日内时间。 8 time with time zone 只用于一日内时间，带时区。 12 interval 时间间隔。 16 JSON类型 json - - jsonb - - RoaringBitmap - 高效位图，支持int类型数据集位图计算。 可变长度 父主题： 数据类型
-
9.1.0.100版本（2024年8月12日） 【弹性架构】 架构升级：基于华为云 对象存储服务 OBS，推出存算分离架构3.0，计算、存储分层弹性，存储按需收费，降本增效；计算支持多VW（Virtual Warehouse，逻辑集群，以下简称VW）部署，业务隔离性更好，解决业务间的资源争抢问题。 推出弹性VW特性，弹性VW完全无状态，支持读写加速，灵活应对并发处理能力不足、业务波峰波谷不均衡、数据加载和数据分析资源争抢等问题，详情参见弹性增删逻辑集群。 增删DN节点，支持弹性扩容和经典扩容，弹性扩容不会对OBS上的数据进行重分布，经典扩容会重分布所有数据，系统会根据bucket总数和DN数目，自动决定采用何种扩容方式。 存算分离架构（DWS 3.0）通过磁盘缓存和IO异步读写提升性能，在磁盘缓存全命中时，持平存算一体架构（DWS 2.0）。 图1 存算分离架构
-
9.1.0.210版本（2024年11月25日） 【存算分离】 支持通过使用explain warmup进行缓存预热，可以把数据预热到本地磁盘缓存的冷端或者热端。 弹性VW功能增强：更灵活的业务分流方式，支持以CN粒度配置业务分流到主VW或者弹性VW。 存算分离表支持insert并行，提升数据加载性能。 存算分离表支持回收站，可以对drop table/partition, truncate table/partition等误操作进行快速闪回。 冷热表支持使用磁盘缓存、异步IO进行性能加速。 【实时数仓】 limit…offset翻页场景性能大幅提升；inlist场景性能大幅提升。 正式商用Binlog特性。 自动分区支持整型和变长类型的时间列。 【湖仓一体】 parquet/orc读写新增对zstd压缩格式的支持。 Create table like支持使用external schema中的表作为like源表。 外表支持并行导出。 【高可用】 存算分离表和冷热表支持增量备份恢复。 通过并行拷贝优化存算分离场景的备份性能。 【生态兼容】 兼容MySQL的replace into语法，interval时间类型。 pg_get_tabledef导出支持字段展示comment。 【运维&稳定性提升】 磁盘使用率高时，支持配置从备数据转储到OBS。 当数据库即将发生只读时，拦截一些发生下盘的语句和产生新表和新物理文件的语句，以此快速回收磁盘空间，保证其它语句执行。 支持审计日志转储到OBS。 新增轻量级锁视图pgxc_lwlocks。 常规锁视图新增锁获取和等待时间戳。 全局死锁检测功能默认打开。 新增vacuum full与select之间的让锁功能。 gs_view_invalid增加失效时间，辅助运维人员清理无效对象 【规格&约束】 最大支持256个VW，每个VW 最大支持1024个DN。建议VW不超过32个，每个VW不超过128个DN。 OBS存算分离表不支持容灾，不支持细粒度备份恢复。 【行为变更】 升级开启max_process_memory自适应功能，主备均衡模式下，增加DN可用内存。 扩容数据重分布默认开启数据一致性校验，扩容时间会增加10%。 新建Hstore_opt表，默认打开turbo引擎，压缩级别默认为middle。 存算分离表OBS路径默认显示为相对路径。 使用磁盘缓存(diskcache)必须同时打开异步IO参数。 列存表的索引清理时间间隔从1小时调小为10分钟，可以更快速地清理占用的索引空间。 CREATE TABLE和ALTER TABLE不支持将有on update表达式的列设置为分布列。 Parquet数据查询，读取INT96格式保存的Timestamp数据时不再做8小时修正。 max_stream_pool用于控制stream线程池缓存的线程数量，默认值由65525调整至1024，避免空闲线程内存占用过大。 track_activity_query_size参数从动态生效调整为重启生效。 不再支持逻辑复制功能，相关接口调用会报错。
-
9.1.0.102补丁（2024年9月25日） 该版本为补丁版本，主要修复已知问题。 【升级收编】 支持9.0.3版本升级到9.1.0系列。 【修复已知问题】 存算分离版本支持alter database xxx rename to yyy。 修复存算分离表 \d+ 空间size显示错误问题。 修复备份恢复之后，异步排序未运行的问题。 修复bitmap index列删除后，无法使用Create Table Like语法的问题。 修复Turbo引擎在Group By场景下，hash算法冲突导致的性能回退问题。 调度器对于失败任务的处理行为和8.3.0版本保持一致。 修复故障场景下，pg_stat_object空间膨胀问题。 修复8.3.0升级到9.1.0， DataArts Studio 下发的Vacuum Full作业报错问题。 修复JSON字段计算CPU和内存消耗高问题。 【功能增强】 ORC外表支持zstd压缩格式。 GIS新增支持st_asmvtgeom/st_asmvt/st_squaregrid函数。
-
建议3.17 针对SQL标记注释，唯一标识SQL的归属 违反规范的影响： 业务溯源能力较差，只能通过数据库、用户名、客户端IP信息找开发人员确认。 方案建议： 建议使用query_band，例如： 1 SET query_band='JobName=abc;AppName=test;UserName=user'; 每个SQL开头标记注释，唯一标识SQL的归属，方便问题定位及应用性能分析，命名建议为： /* 模块名_工具名_作业名_步骤 */，如: /* mca_python_xxxxxx_step1 */ insert into xxx select … from
-
建议3.10 尽量避免对关联条件字段和过滤条件字段进行函数运算 违反规范的影响： 对关联条件字段和过滤条件字段进行函数运算，导致优化器无法获取到准确的字段统计信息，无法生成最优计划，影响执行性能。 方案建议： 关联条件字段之间直接比较，需要运算后比较场景在数据入库前做好加工。 过滤条件和常量比较时，只对常量列做函数运算，字段列不做函数运算，例如： 1 2 3 4 5 6 7 8 9 SELECT id, from_image_id, from_person_id, from_video_id FROM face_data WHERE SS.DEL_FLAG = 'N' AND NVL(SS.DELETE_FLAG, 'N') = 'N' 改写为： SELECT id, from_image_id, from_person_id, from_video_id FROM face_data where SS.DEL_FLAG = 'N' AND (SS.DELETE_FLAG = 'N' or SS.DELETE_FLAG is null)
-
操作步骤 参见创建DWS 3.0集群创建DWS 3.0集群，集群创建后默认会转换成逻辑集群v3_logical。 通过节点扩容方式增加3个节点到弹性集群，再添加逻辑集群lc2。 创建用户u1，并关联逻辑集群v3_logical。 1 CREATE USER u1 with SYSADMIN NODE GROUP "v3_logical" password "Password@123"; 创建用户u2，并关联逻辑集群lc2。 1 CREATE USER u2 with SYSADMIN NODE GROUP "lc2" password "Password@123"; 以u1登录数据库，创建表t1和t2，并插入测试数据。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 CREATE TABLE public.t1 ( id integer not null, data integer, age integer ) WITH (ORIENTATION =COLUMN, COLVERSION =3.0) DISTRIBUTE BY ROUNDROBIN; CREATE TABLE public.t2 ( id integer not null, data integer, age integer ) WITH (ORIENTATION = COLUMN, COLVERSION =3.0) DISTRIBUTE BY ROUNDROBIN; INSERT INTO public.t1 VALUES (1,2,10),(2,3,11); INSERT INTO public.t2 VALUES (1,2,10),(2,3,11); 以u2登录数据库，执行以下命令查询t1和写入数据。 从结果可得出，实现用户u2跨逻辑集群进行查询和写入数据的能力。 1 2 SELECT * FROM t1; INSERT INTO t1 SELECT * FROM t2;
-
建议3.6 避免对列存表频繁或并发执行UPDATE/DELETE 违反规范的影响： 针对列存表频繁执行UPDATE/DELETE造成CU膨胀，导致空间膨胀和访问性能下降。 针对列存表并发执行UPDATE/DELETE，导致行锁阻塞和分布式死锁风险，导致业务报错和性能下降。 方案建议： 频繁执行UPDATE/DELETE操作的表设计为行存表。 按主键或分布列进行分组UPDATE/DELETE，组间并行组内串行。
-
规则2.3 创建DATABASE时必须选择正确的数据库兼容模式 违反规则的影响： 选错数据库兼容模式，会导致从其他厂商的数据库迁移到 GaussDB (DWS)后出现行为不一致问题，且不支持直接修改数据库兼容模式，需重新建库重新导数 方案建议： 根据源库端数据库类型，在GaussDB(DWS)中建库时通过DBCOMPATIBILITY指定兼容模式，当前支持Teradata、Oracle和MySQL等多种兼容模式。
-
总体开发设计规范 下表是GaussDB(DWS)开发过程中需遵循的开发设计规范全集列表，可以单击链接跳转到对应的规则下了解详细说明。 表1 GaussDB(DWS)开发设计规范全集列表 编号 类别 规则/建议 1 连接管理规范 - 规则1.1 GaussDB(DWS)集群必须配置负载均衡 2 规则1.2 连接数据库完成所需操作后，必须关闭数据库连接（连接池场景除外）。 3 规则1.3 开启的事务最后必须提交或回滚 4 规则1.4 应用侧使用连接池场景，其空闲超时配置必须小于服务侧的SESSION_TIMEOUT配置 5 规则1.5 应用侧使用连接池场景，如使用连接SET设置过参数，当将连接归还连接池前，必须进行参数重置 6 规则1.6 应用侧使用连接池场景，如使用连接创建过临时表，当将连接归还连接池前，必须手动清理所创建的临时表 7 对象设计规范 DATABASE对象设计 规则2.1 避免直接使用内置的DATABASE（如postgres、gaussdb等） 8 规则2.2 创建DATABASE时必须选择正确的数据库编码 9 规则2.3 创建DATABASE时必须选择正确的数据库兼容模式 10 建议2.4 存在关联计算的对象放在同一个DATABASE中 11 USER对象设计 规则2.5 禁止使用特殊权限用户运行业务，需遵循权限最小分配原则 12 规则2.6 禁止使用一个数据库用户运行所有业务 13 SCHEMA对象设计 建议2.7 不在其他USER的私有SCHEMA下创建对象 14 TABLESPACE对象设计 规则2.8 禁止自定义TABLESPACE表空间 15 TABLE对象设计（重点） 规则2.9 创建表时必须选择正确的分布方式和分布列 16 规则2.10 创建表时必须选择正确的存储方式 17 规则2.11 创建表时必须选择正确的分区策略 18 建议2.12 表字段的设计要遵循高效、准确原则 19 建议2.13 避免使用自增列或自增数据类型 20 INDEX对象设计（重点） 规则2.14 只创建必要的索引，创建索引必须选择合适的列和顺序 21 建议2.15 列存表通常可不建索引，极致性能场景需正确选择索引类型 22 VIEW对象设计 建议2.16 视图的嵌套需避免超过三层 23 SQL开发规范 DDL操作规范 建议3.1 DDL操作（CREATE除外）避免在业务高峰期和长事务中执行 24 规则3.2 DROP删除对象操作必须明确删除对象范围 25 INSERT操作规范 规则3.3 INSERT多VALUES批插场景使用COPY替代 26 建议3.4 禁止针对普通列存表进行实时INSERT操作 27 UPDATE/DELETE操作规范 建议3.5 避免并发UPDATE/DELETE行存表的同一行 28 建议3.6 避免对列存表频繁或并发执行UPDATE/DELETE 29 SELECT操作规范 规则3.7 禁止执行不下推的SQL 30 规则3.8 禁止多表关联时缺少关联条件 31 规则3.9 多表关联字段数据类型要保持一致 32 建议3.10 尽量避免对关联条件字段和过滤条件字段进行函数运算 33 建议3.11 资源高消耗型SQL需做好压测和并发管控 34 规则3.12 禁止针对行存大表的频繁COUNT 35 建议3.13 避免查询返回超大结果集（数据导出场景除外） 36 建议3.14 查询时避免使用“SELECT *”写法 37 建议3.15 谨慎使用递归语句(WITH RECURSIVE)，明确终止条件，确保递归可终止 38 建议3.16 访问对象（表，函数等）时带上SCHEMA名称 39 建议3.17 针对SQL标记注释，唯一标识SQL的归属 40 存储过程开发规范 - 建议4.1 避免使用复杂的存储过程，避免存储过程嵌套 41 规则4.2 存储过程内需避免执行非CREATE类的DDL操作
-
规则2.11 创建表时必须选择正确的分区策略 违反规范的影响： 分区的优点如下，如不做分区，其查询性能和 数据治理 效率会下降，数据量越大这种劣化越大。 改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索效率。 提升数据治理效率：如数据生命周期管理场景，针对历史分区做TRUNCATE/DROP PARTITION，效率和效果远优于DELETE。 方案建议： 针对包含时间类型字段的表设计分区。 表3 分区策略选择 分区策略 描述 适用场景 范围分区（Range Partitioning） 根据分区键值的范围，将数据存储到不同的分区中，分区键范围连续但不重叠。 日期或者时间类的字段作为分区键。 查询中大多包含分区键作为过滤条件。 定期按照分区键清理数据。 列表分区（List Partitioning） 根据分区键值的列表进行分区，各分区的列表值不重复 特定数量的枚举值作为分区键值。 查询中大多包含分区键作为过滤条件。
-
规则2.9 创建表时必须选择正确的分布方式和分布列 违反规范的影响： 分布式和分布列选择错误，导致表数据存储倾斜，访问性能下降，严重情况会触发存储和计算资源过载。 方案建议： 创建表时通过DISTRIBUT BY显式指定分布方式和分布列，分布列选择原则如下表所示。 表1 分布列选择原则 分布方式 描述 适用场景 Hash 表数据按照分布列生成的hash值与DN实例的映射关系，将数据分布到各DN实例。 优点：每个DN仅包含部分数据，占用整体空间小。 缺点：数据分布的均匀程度强依赖分布列的选择；JOIN关联条件不包含各自分布列的场景存在节点间数据通信的消耗。 大表、事实表。 RoundRobin 表数据按照轮询的方式依次分布到各DN实例。 优点：每个DN仅包含部分数据，占用整体空间小；数据轮询均匀分布，不依赖分布列，不存在数据存储倾斜问题。 缺点：无法通过分布列条件消除和减少节点间通信，此类场景性能不如HASH。 大表、事实表，无合适分布列的表。 Replication 表中的全量数据在集群的每一个DN实例上保留一份。 优点：每个DN上都有此表的全量数据，JOIN操作中可以完全避免节点间数据通信，从而减小网络开销，同时减少了STREAM线程启停开销。 缺点：每个DN都保留了表的完整数据，数据的冗余，占用更多存储空间。 小表、维度表。
-
规则2.10 创建表时必须选择正确的存储方式 违反规范的影响： 行存表使用不当导致查询场景性能差，资源过载。 列存表使用不当导致CU膨胀，性能差，资源过载。 方案建议： 创建表时通过orientation显式指定表的存储类型，存储类型的选择原则如下表所示。 表2 存储类型选择 存储方式 适用场景 不适用的场景 行存 DML增删改：UPDATE和DELETE操作多的场景 DML查询：点查询(返回记录少，基于索引的简单查询) DML查询：统计分析类查询 (group , join的数据量大的场景)。 注意： 创建行存表（orientation = row）时，禁止指定compress属性，禁止使用行存压缩表。 列存 DML增删改：INSERT批量导入场景（单次单分区入库量接近或大于6w*DN数） DML查询：统计分析类查询 (group , join的数据量大的场景) DML增删改：UPDATE/DELETE多的场景、INSERT小批量插入的场景。 DML查询：高并发的点查询。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
