检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云容器引擎-成长地图 | 华为云 数据仓库服务 GaussDB(DWS) 数据仓库服务(Data Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。
Analytical Processing)进行数据分析,探究一些深层次的关系和信息。但是不同的数据库之间很难做到数据共享,数据之间的集成与分析也存在非常大的挑战。 为解决企业的数据集成与分析问题,数据仓库之父比尔·恩门于1990年提出数据仓库(Data Warehouse)。数据仓库主要功能是
如何选择GaussDB(DWS)区域和可用分区 什么是区域、可用分区? 区域和可用分区用来描述数据中心的位置,您可以在特定的区域、可用分区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、
重分布 集群重分布是集群扩容后的一项重要且耗时的任务,集群扩容前业务数据都集中分布在老节点上,扩容之后会新增空的可用节点,此时将老节点的数据均匀分布到新扩容节点的过程称为数据“重分布”,数据“重分布”后将大大提升业务响应速率。 默认情况下,在扩容之后将自动调起重分布任务,为了增强
如果业务应用与DWS在不同区域下,例如ECS在“北京四”、DWS在“上海一”,此时需要将两个区域建立云连接后才能通信。 图3 云连接访问 业务应用在云下数据中心,需要与DWS进行通信 如果业务应用不在云上,在本地数据中心,此时需要与云上DWS进行通信,分为两种场景: 场景一:云下业务应用通过DWS的公网IP进行通信。
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
数据仓库服务构建在公有云的基础软件设施之上,包括云主机弹性云服务器和对象存储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。 GaussDB(DWS)用户的业务数据是直接存放在集群的云主机当中,集群的云主机对GaussDB(DWS)用户本身
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
数据导入/导出 使用COPY FROM导入时报错“invalid byte sequence for encoding "UTF8": 0x00” GDS导入/导出类问题 创建GDS外表失败,提示不支持ROUNDROBIN 通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败
数据倾斜查询优秀实践 导入过程存储倾斜即时检测 快速定位查询存储倾斜的表 父主题: 数据库管理
查看表和数据库的信息 查询表信息 使用系统表pg_tables查询数据库所有表的信息。 1 SELECT * FROM pg_tables; 使用gsql的\d+命令查询表结构。 示例:先创建表customer_t1并插入数据。 1 2 3 4 5 6 7 8 9 CREATE
华北-北京四 dws-demo-cn-north-4 华北-乌兰察布一 dws-demo-cn-north-9 华东-上海一 dws-demo-cn-east-3 华东-上海二 dws-demo-cn-east-2 华南-广州 dws-demo-cn-south-1 华南-广州友好 dws-demo-cn-south-4
查看GaussDB(DWS)数据库审计日志 数据库审计日志在集群的“安全设置”页面中进行设置,仅“可用”和“非均衡”状态的集群支持修改安全配置,同时集群的任务信息不能处于“节点扩容”、“配置中”、“升级中”、“重分布中”和“重启中”等状态。 前提条件 审计功能总开关audit_e
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格
rop/Truncate/Alter table),表级别扩容技术,扩容期间业务不中断、无感知。 支持在线升级:8.1.1及以上源版本支持大版本在线升级,8.1.3及以上源版本支持补丁在线升级,升级期间用户无需停止业务,业务存在闪级秒断。 高可靠 事务管理 支持事务块,用户可以通过start
提供H-Store存储引擎,微批数据存放在本地,周期合并到OBS存储,支持高吞吐实时写入与更新,同时支持大批量写入场景。 数据实时写入并经实时计算之后,可以用于实时大屏、实时分析、实时监控、实时风控、实时推荐。 多VW支持业务隔离和极致弹性(存算分离架构) 通过多VW实现业务的负载隔离,相比资源管理的软隔
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
形式展示,从而显著的降低了数据库运维的门槛,提高了数据库运维的效率。并且将一切繁重的IT运维工作都集中在云后台管理,从专业,复杂,繁重的数据中心运维活动中解放出来,使客户能够更加专注于其核心业务。在IT运维与数据库运维上深耕细作,发挥其团队稳定,专业化程度高,掌握海量数据库运行数
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同。
数据类型 数值类型 货币类型 布尔类型 字符类型 二进制类型 日期/时间类型 几何类型 数组类型 枚举类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 RoaringBitmap类型 HLL数据类型 对象标识符类型 伪类型 范围类型 复合类型 列存表支持的数据类型