检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
数据分析 使用GaussDB(DWS)秒级查询交通卡口通行车辆行驶路线 使用GaussDB(DWS)分析某公司供应链需求 使用GaussDB(DWS)分析零售业百货公司经营状况
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info
录空间,并更新表的统计数据。 用户未开启autovacuum的同时又没有合理的自定义vacuum调度,导致表的脏数据没有及时回收,新的数据又不断插入或更新,膨胀是必然的。 资源回收不及时 开启了autovacuum,但是各种原因导致回收不及时,并且新的数据又不断产生,从而导致膨胀。回收不及时有以下原因:
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海
为增强可靠性,每个节点都有一个副本,副本会占用一半的存储空间,选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据,生成索引、临时缓存文件、运行日志等内容,并占用存储容量。每个节点实际存储的数据,大致为总存储容量的一半。 父主题: 数据迁移
查询历史监控数据 功能介绍 该接口用于查询历史监控数据。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/dms/metric-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。
数据操作语句(DML) INSERT SELECT UPDATE DELETE MERGE NAMED ACTIVITYCOUNT TIMESTAMP 父主题: Teradata语法迁移
查询GaussDB(DWS)数据 GaussDB(DWS)单表查询 GaussDB(DWS)多表连接查询 GaussDB(DWS)子查询表达式 GaussDB(DWS) WITH表达式 GaussDB(DWS) UNION操作符的使用
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
数据库使用 如何调整GaussDB(DWS)分布列? 如何查看和设置GaussDB(DWS)数据库的字符集编码格式 如何处理GaussDB(DWS)建表时date类型字段自动转换为timestamp类型的问题? GaussDB(DWS)是否需要定时对常用的表做VACUUM FULL和ANALYZE操作?
往GaussDB(DWS)写数据慢,客户端数据会有积压 问题现象 客户端往GaussDB(DWS)写入数据较慢,客户端数据会有积压。 原因分析 如果通过单条INSERT INTO语句的方式单并发写数据入库,客户端很可能会出现瓶颈。INSERT是最简单的一种数据写入方式,适合数据写入量不大,并发度不高的场景。
数据库性能 为什么GaussDB(DWS)使用一段时间后执行SQL很慢? 为什么GaussDB(DWS)的性能在极端场景下并未比单机数据库好 GaussDB(DWS)业务读写阻塞,如何查看某个时间段的sql执行记录? GaussDB(DWS)中“算子下盘”是什么含义? GaussDB(DWS)的CPU资源隔离管控介绍
GaussDB(DWS)数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。
可能 如果数据库服务器要求使用,则可以使用SSL安全加密连接,但不验证数据库服务器的真实性。 prefer 可能 如果数据库支持,那么首选使用SSL安全加密连接,但不验证数据库服务器的真实性。 require 是 必须使用SSL安全连接,但是只做了数据加密,而并不验证数据库服务器的真实性。
数据库管理 DSC工具迁移时会将MySQL SET CHARACTER SET语句迁移为SET SESSION NAMES。字符集对照如下表: 表1 字符集对照表 MySQL CHARACTER SET GaussDB(DWS) SESSION NAMES ASCII SQL_ASCII
DWS元数据不一致-分区索引异常 问题现象 某局点查看表定义报错:“The local index xxx on the partition xxx not exist.”。 原因分析 该问题主表索引无损坏,报错原因是由于单个分区索引记录在系统表pg_partition中与其他系统表不一致,未找到对应分区索引信息。
0rc1/tools目录后,执行以下命令生成数据。 因为tpcds 1000X的数据,单个表的数据文件较大,我们采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成数据,如下示例,1
数据操作语句(DML) INSERT UPDATE REPLACE 引号 INTERVAL 除法表达式 GROUP BY转换 ROLLUP 父主题: MySQL语法迁移