检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库类型 产品类型概述 存算一体:面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离:采用存算分离云原生架构,计算、存储分层弹性
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格
数据仓库规格 GaussDB(DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异,详情请参见数据仓库类型。 低配置集群,如内存16G、vCPU4核及以下的规格,建议不要用于生产环境,可能会导致资源过载风险。 存算一体规格 存算一体
了解更多常见问题、案例和解决方案 热门案例 数据库、数据仓库、数据湖、湖仓一体分别是什么? 为什么要使用云数据仓库服务GaussDB(DWS)? 无法连接数据仓库集群时怎么处理? 如何选择公有云DWS或者公有云RDS? 数据在数据仓库服务中是否安全? 如何清理与回收存储空间? 更多 数据库连接
数据仓库 华为云数据仓库高级工程师培训 父主题: 培训服务
数据仓库 表1 数据仓库权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list
数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题: API
(DWS)的实时数仓中的HStore表就是针对这种情况设计和实现的,面向对于实时入库和实时查询有较强诉求的场景,同时拥有处理传统TP场景的事务能力。 GaussDB(DWS)提供的实时数仓中实现了一种全新的HStore表,可以做到单条或者小批量IUD操作的高并发实时入库,也可以支
(DWS)的实时数仓中的HStore表就是针对这种情况设计和实现的,面向对于实时入库和实时查询有较强诉求的场景,同时拥有处理传统TP场景的事务能力。 GaussDB(DWS)提供的实时数仓中实现了一种全新的HStore表,可以做到单条或者小批量IUD操作的高并发实时入库,也可以支
实时数仓语法 CREATE TABLE INSERT DELETE UPDATE UPSERT MERGE INTO SELECT ALTER TABLE
实时数仓函数 hstore_light_merge(rel_name text) 描述:该函数用于手动对HStore表进行轻量化清理操作,持有目标表的三级锁。 返回值类型:int 示例: 1 SELECT hstore_light_merge('reason_select');
实时数仓语法 CREATE TABLE INSERT DELETE UPDATE UPSERT MERGE INTO SELECT ALTER TABLE
实时数仓函数 hstore_light_merge(rel_name text) 描述:该函数用于手动对HStore表进行轻量化清理操作,持有目标表的三级锁。 返回值类型:int 示例: 1 SELECT hstore_light_merge('reason_select');
全量同步source,再实时消费source端增量。 支持消费即清理:对于空间敏感且只关注实时同步与加工的客户,支持消费后即开始异步清理增量,有效减少空间使用。 利用Flink强大的实时处理能力和GaussDB(DWS)的Binlog能力,可以快速构建实时数仓,且无需维护其他组件
功能描述 更新HStore表上指定的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项
功能描述 删除HStore表中的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项
功能描述 删除HStore表中的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项
功能描述 更新HStore表上指定的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项
实时数仓GUC参数 autovacuum 参数说明:控制是否启动数据库自动清理进程(autovacuum)。 参数类型:SIGHUP 取值范围:布尔型 on表示开启数据库自动清理进程。 off表示关闭数据库自动清理进程。 默认值:on autovacuum_compaction_rows_limit
产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除,会导致在默认数据仓库中创建库、创建表失败,影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态,发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点,用户密