检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
INSERT 功能描述 往HStore表中插入一行或多行数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
磁盘缓存主动预热调优 该功能仅9.1.0.200及以上版本支持。 背景介绍 当前存算分离架构为了降低存储成本会将用户数据存储到obs,这样会导致用户每次查询数据时都要发生网络IO去obs取数据,因此当前存算分离架构提供了磁盘缓存的能力,将用户预查询的数据缓存到本地磁盘,当实际查询数据
多行数据。当出现主键或者唯一约束冲突时更新或者忽略冲突的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
多行数据。当出现主键或者唯一约束冲突时更新或者忽略冲突的数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
INSERT 功能描述 往HStore表中插入一行或多行数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
实时数仓在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
实时数仓在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。
集群,通过新增节点进行扩容操作。 如果当前集群是包年/包月计费模式,那么新增节点也是按照包年包月模式进行计费。 存算一体集群扩容时使用与当前集群相同的存储规格。 存算一体(单机部署)不支持扩容集群。 如果创建的是BMS集群,可联系技术支持人员开启跨规格扩容的白名单,开启后扩容界面
PGXC_GROUP PGXC_GROUP系统表存储节点组信息,在存算分离3.0版本中,每个逻辑集群节点组称为一个VW(Virtual Warehouse),而在存储KV层,每一个VW会和一个vgroup相对应。 表1 PGXC_GROUP字段 名称 类型 描述 group_name
使用数据安全服务DBSS(建议) 数据库安全服务(Database Security Service,DBSS)是一个智能的数据库安全服务,基于机器学习机制和大数据分析技术,提供数据库审计,SQL注入攻击检测,风险操作识别等功能,保障云上数据库的安全。 建议使用DBSS来提供扩展的数据安全能力,详情请参考数据库安全服务。
、溪流和其他来源,并且是原始数据。 表2 数据湖与数据仓库的对比 维度 数据湖 数据仓库 应用场景 可以探索性分析所有类型的数据,包括机器学习、数据发现、特征分析、预测等。 通过历史的结构化数据进行数据分析。 使用成本 起步成本低,后期成本较高。 起步成本高,后期成本较低。 数据质量
- 存算分离 异步读优化 优化异步读的效果。 - 存算分离表数据导入支持并行 OBS存算分离表数据导入支持并行(需打开enable_insert_dop,默认关闭),并行导出会消耗更多的CPU和内存资源。 - OBS存算分离表支持insert overwrite OBS存算分离表支持insert
力。 湖仓一体 数据湖与数据仓库数据无缝混合查询。 数据湖分析体验数仓的极致性能和精准管控度。 存算一体与存算分离产品形态对比 表2 存算分离与存算一体差异 数仓类型 存算一体 存算分离 存储介质 数据存储在计算节点的本地磁盘。 列存数据存储在华为云对象存储,本地磁盘主要作为OB
使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据 GaussDB(DWS) 存算分离版本DWS 3.0数仓支持通过建立EXTERNAL SCHEMA实现远端访问MRS的Hive数据源(包括Hive对接HDFS和Hive对接OBS两种场景),本实践详细地
yManager接口,实现小批量RoaringBitmap的数据入库至GaussDB(DWS)。 如针对大批量数据入库,需要在应用侧增加算力进行优化,否则会影响入库性能。 加工RoaringBitmap 访问Maven下载开源的RoaringBitmap的jar包,推荐下载0.9
yManager接口,实现小批量RoaringBitmap的数据入库至GaussDB(DWS)。 如针对大批量数据入库,需要在应用侧增加算力进行优化,否则会影响入库性能。 加工RoaringBitmap 访问Maven下载开源的RoaringBitmap的jar包,推荐下载0.9
集群可以切换为生产集群,从而保障业务连续性。架构图如下所示: Region内容灾特性仅8.1.1及以上集群版本支持。 存算一体(单机部署)不支持容灾功能。 存算分离集群和多AZ集群暂不支持容灾功能。 若用户灾备集群使用包周期套餐,则会在包周期到期冻结一段时间后自动删除,请用户及时续费,以免删除灾备集群导致容灾异常。
job_id String 缩容的任务ID。 请求示例 离线缩容ID为“4ca46bf1-5c61-48ff-b4f3-0ad4e5e3ba90”的存算一体集群3个节点,并执行备份,不执行委托: 1 2 3 4 5 6 7 8 POST https://{Endpoint} /v1.0/89
象,操作过程中无需暂停业务,并且不会造成CPU、内存等资源浪费。 磁盘扩容功能仅8.1.1.203及以上版本支持,并且创建集群规格需要为存算一体SSD云盘类型。 按需+折扣套餐包消费模式下,存储扩容后超出折扣套餐包部分将按需收费。 调用方法 请参见如何调用API。 URI POST
集群由多个在相同子网中的节点组成,共同提供服务。创建集群时,系统会创建一个默认数据库。 创建GaussDB(DWS)存算一体集群 创建GaussDB(DWS)存算分离集群 创建包年/包月集群 连接集群 - GaussDB(DWS)集群创建完成后,您就可以使用SQL客户端工具或者J