检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署数据仓库服务器,就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。 您只需单击几下鼠标,就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。 与大数据无缝集成 您可以使用标准SQL查询HDFS、对象存储服务(Object Storage
填写扩展字段名称。 显示样式 填写扩展字段的值,支持文本框、单选框、复选框和下拉列表的形式。 配置值 填写扩展字段的值,显示样式非“文本框”时,配置值必填。 必填 若勾选,表示配置扩展字段时,扩展字段内容不能为空。 显示区域 支持选择扩展字段在设计文件“表单”中显示的区域。 API基本信息 请求参数
数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB(DWS)日志接入LTS。 具体接入方法请参见集群日志管理。 父主题: 使用云服务接入LTS
地创建和维护。 单表存储数据量 单表存储的数据量越大,查询性能就越差。当表中的数据量很大时,则需要考虑将数据进行分区存储。普通表若要转成分区表,需要新建分区表,然后把普通表中的数据导入到新建的分区表中。因此在初始设计表时,请根据业务提前规划是否使用分区表。 对表进行分区,一般需要遵循以下原则:
如何查看GaussDB(DWS)外部表信息? 如果需要查询OBS、GDS等外表信息(如OBS路径),可以执行以下语句查询。 1 SELECT * FROM pg_get_tabledef('外表名称') 例如,表名为traffic_data.GCJL_OBS,查询如下: 1 SELECT
字段设计 选择数据类型 在字段设计时,基于查询效率的考虑,一般遵循以下原则: 【建议】尽量使用高效数据类型。 选择数值类型时,在满足业务精度的情况下,选择数据类型的优先级从高到低依次为整数、浮点数、NUMERIC。 【建议】当多个表存在逻辑关系时,表示同一含义的字段应该使用相同的数据类型。
段上查询会返回较大的结果集。尽量避免返回较大的结果集。 对集合的写操作同时会操作集合上的索引,从而触发更多的IO操作,集合上的索引数量不要超过32。 不要创建不会被使用到的索引,因为DDS会加载索引到内存,无用索引加载到内存会浪费内存空间因业务逻辑变化而产生的无用索引也要及时清理。
自动引用到快速启动设计,用户无需创建空间/方案即可快速进行架构设计。 图3 一键引用集成架构 架构引用到我的空间 您也可以点击“引用到我的空间”,选择指定的空间、方案,修改架构名称,即可引用到用户指定的空间&方案下。 图4 引用到我的空间 父主题: 技术架构设计
方案设计提交审核 方案设计完成后,可提交方案设计审核,审核通过的方案为“设计完成”状态。仅允许方案设计责任人(即,在新建方案时指定的设计责任人)提交审核。 点击设计中心右上角【提交审核】按钮,选择要提交的架构、方案审核责任人,点击【确定】。审核责任人可选择工作空间内的架构师或项目经理,支持多选。
如果保存多年数据,建议考虑使用月做分区,toYYYYMM(pt_d)。 综合考虑数据分区粒度、每个批次提交的数据量、数据的保存周期等因素,合理控制part数量。 父主题: ClickHouse宽表设计
字段设计 选择数据类型 在字段设计时,基于查询效率的考虑,一般需要遵循以下原则: 尽量使用高效数据类型。 选择数值类型时,在满足业务精度的情况下,选择数据类型的优先级从高到低依次为整数、浮点数、NUMERIC。 当多个表存在逻辑关系时,表示同一含义的字段应该使用相同的数据类型。
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
本章节主要介绍数据仓库上云与实施服务的计费说明,包括计费项,计费模式,以及变更、续费、欠费等。 计费项 服务子产品 服务规格 量纲 单价(元) 数据仓库平台设计与实施服务 数据仓库规划设计与实施服务-基础版(128vCPU以内) 套 400,000 数据仓库规划设计与实施服务-增量包(128vCPU以上)
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Hive默认数据仓库的权限被修改,会影响当前用户,用户组,其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围;会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态,发现Hive默认数据仓库权限发生更改。
标准设计 新建码表 新建数据标准 父主题: 数据架构
速地从表中删除所有行。它和在目标表上进行无条件的DELETE有同样的效果,由于TRUNCATE不做表扫描,在大表上操作效果更明显,效率会提升很多。 功能特点 TRUNCATE TABLE在功能上与不带WHERE子句DELETE语句相同:二者均删除表中的全部行。 TRUNCATE
企业数字化转型面临的挑战 企业在进行数据管理时,通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。 缺乏数据的质量管控和评估手段,数据不可信。
my_table_local, rand()); 使用说明 分布式表名称:default.my_table_dis。 本地表名称:default.my_table_local。 通过“AS”关联分布式表和本地表,保证分布式表的字段定义跟本地表一致。 分布式表引擎的参数说明: default_cluster:集群名称。
表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 集群报错内存溢出 带自定义函数的语句不下推 列存表更新失败或多次更新后出现表膨胀 列存表多次插入后出现表膨胀 往GaussDB(DWS)写数据慢,客户端数据会有积压 分析查询效率异常降低的问题 未收集统计信息导致查询性能差 执行计划中有NestLoop导致SQL语句执行慢
查看表和数据库的信息 查询表信息 使用系统表pg_tables查询数据库所有表的信息。 1 SELECT * FROM pg_tables; 使用gsql的\d+命令查询表结构。 示例:先创建表customer_t1并插入数据。 1 2 3 4 5 6 7 8 9 CREATE