检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
数据库使用 如何调整GaussDB(DWS)分布列? 如何查看和设置GaussDB(DWS)数据库的字符集编码格式 如何处理GaussDB(DWS)建表时date类型字段自动转换为timestamp类型的问题? GaussDB(DWS)是否需要定时对常用的表做VACUUM FULL和ANALYZE操作?
数据库性能 为什么GaussDB(DWS)使用一段时间后执行SQL很慢? 为什么GaussDB(DWS)的性能在极端场景下并未比单机数据库好 GaussDB(DWS)业务读写阻塞,如何查看某个时间段的sql执行记录? GaussDB(DWS)中“算子下盘”是什么含义? GaussDB(DWS)的CPU资源隔离管控介绍
管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 父主题: 迁移业务数据至GaussDB(DWS)集群
数据库管理 DSC工具迁移时会将MySQL SET CHARACTER SET语句迁移为SET SESSION NAMES。字符集对照如下表: 表1 字符集对照表 MySQL CHARACTER SET GaussDB(DWS) SESSION NAMES ASCII SQL_ASCII
数据库管理 基于角色的权限管理(RBAC) 只读用户配置权限 SQL查询优秀实践 数据倾斜查询优秀实践 用户管理优秀实践 查看表和数据库的信息 数据库SEQUENCE优秀实践
OperateAccess权限的委托。 数据库 要创建的OBS数据源连接所在的数据库。 描述 要创建的OBS数据源连接的描述信息。 确认无误后,单击“确认”按钮,提交创建操作,创建过程大约需要10秒钟左右。 更新OBS数据源配置 操作场景 当OBS数据源连接创建之后,GaussDB(DWS)会定期更新数据源使用的
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
数据分析 使用GaussDB(DWS)秒级查询交通卡口通行车辆行驶路线 使用GaussDB(DWS)分析某公司供应链需求 使用GaussDB(DWS)分析零售业百货公司经营状况
数据操作语句(DML) INSERT UPDATE REPLACE 引号 INTERVAL 除法表达式 GROUP BY转换 ROLLUP 父主题: MySQL语法迁移
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海
无论哪种情况,数据的加密过程如下: 执行可选的数据操作:压缩、转换成UTF-8或者换行符的转换。 在数据前面增加一个随机字节组成的块,相当于使用了一个随机的初始值(IV)。 追加随机前缀和数据的SHA1哈希值到数据后面。 将所有内容使用会话密钥进行加密后放入数据包中。 支持的PGP加密函数:
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
数据操作语句(DML) INSERT SELECT UPDATE DELETE MERGE NAMED ACTIVITYCOUNT TIMESTAMP 父主题: Teradata语法迁移
管理GaussDB(DWS)数据库连接 操作场景 数据库默认支持一定数量的连接,管理员用户可以通过管理数据库的连接,了解当前数据库的连接性能或增加连接限制,使更多用户或应用程序可以同时连接到数据库。 支持的连接数规格 集群支持的连接数与集群节点规格有关: 表1 支持连接数规格 参数
查询GaussDB(DWS)数据 GaussDB(DWS)单表查询 GaussDB(DWS)多表连接查询 GaussDB(DWS)子查询表达式 GaussDB(DWS) WITH表达式 GaussDB(DWS) UNION操作符的使用 SQL on Hudi
GaussDB(DWS)数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。
0rc1/tools目录后,执行以下命令生成数据。 因为tpcds 1000X的数据,单个表的数据文件较大,我们采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成数据,如下示例,1
集群ID。获取方法,请参见获取集群ID。 ext_data_source_id 是 String 数据源配置ID。获取方法,请参见查询数据源。 请求参数 无 响应参数 表2 响应参数 参数 参数类型 描述 job_id String 更新数据源的任务ID。 请求示例 DELETE https://{Endpoint}/v1
SSB测试数据 表1 SSB测试数据 序号 表名 行数 表大小 1 supplier 200000 - 2 customer 3000000 - 3 part 1400000 - 4 lineorder 60037902 - 5 lineorder_flat 60037902 -