检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并提供按月或按年预先支付OBS热数据存储费用的折扣套餐,适合计划长期使用DWS 3.0场景的客户。
本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下: 准备工作 步骤一:准备MySQL数据 步骤二:创建GaussDB(DWS)集群 步骤三:创建DLI
SQL on Hudi支持读取存储在MRS上的hudi表,在使用上仅创建数据源与OBS不同,其他无差异。
折扣套餐: 按月或按年预先支付冷数据存储费用,相比按需计费提供大额折扣,适合集群OBS数据存储或数据量超过已购买套餐包时。 表1 计费模式 计费模式 包年/包月 折扣套餐 按需计费 付费方式 预付费 按照订单的购买周期结算。 预付费 按照订单的购买周期结算。
注意,以下语句中的<obs_bucket_name>代表OBS桶名,仅支持部分区域,当前支持的区域和对应的OBS桶名请参见表1。GaussDB(DWS)集群不支持跨区域访问OBS桶数据。 外表字段需与即将注入数据的普通表字段保持一致。
OBS路径的残留文件该项为0。 inode bigint 残留文件stat信息中的Inode。OBS路径的残留文件该项为0。 atime timestamptz 残留文件stat信息中的Access time。OBS路径的残留文件该项为空。
恢复单表到原集群的功能支持备份设备为OBS的快照。 该功能目前支持备份级别为“cluster”以及“schema”的快照。 集群状态和快照状态都为“可用”时,用户才可以进行单表恢复。 不支持状态为“只读”的集群进行单表恢复。 暂不支持细粒度恢复绝对表空间或相对表空间下的表。
停用词文件可以存放于本地,也可以存放于对象存储服务OBS服务器。如果存在本地,目录格式为'file://absolute_path'。
数据开发设置 操作步骤 编辑器提供基础的设置,包含操作栏、快捷键和存储设置,如果没有对应的OBS桶,可以跳转去创建,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“数据 > SQL编辑器”。
停用词文件可以存放于本地,也可以存放于对象存储服务OBS服务器。如果存在本地,目录格式为'file://absolute_path'。
如果删除集群后,手动快照仍还保留着,并且总的快照大小超出了免费空间的大小,那么超出部分将继续按照OBS的费率进行计费。 数据仓库服务磁盘存储 删除集群时,集群相关的存储资源会一并被自动删除。 冷分区数据存储 删除集群时,集群相关的存储资源会一并被自动删除。
若您需要对除GaussDB(DWS)之外的其它服务授权,IAM支持服务的所有权限请参见系统权限。
如何清理与回收GaussDB(DWS)存储空间? GaussDB(DWS)数据仓库中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费、创建及恢复快照性能下降等问题,如何清理? 清理与回收存储空间对系统的影响如下: 删除无用的脏数据,释放存储空间。 数据库将进行大量读写操作
图1 Kafka实时入库DWS 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 ECS、对象存储服务 OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务 GaussDB(DWS),基本流程如下: 准备工作
编辑器依赖GaussDB(DWS)和OBS服务,用户首先需要有GaussDB(DWS)集群查询和OBS查询,操作等功能,同时对接CTS服务,用于开启日志进行操作类接口的事件记录。 视频介绍 编辑器功能描述 编辑器上面一栏可进行数据源、数据库、模式进行切换操作。
secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 dli_address DLI服务的终端节点,即endpoint。
业务数据安全 数据仓库服务构建在公有云的基础软件设施之上,包括云主机弹性云服务器和对象存储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。
secret_access_key OBS访问协议对应的SK值(OBS云服务界面由用户获取),创建外表时SK值会加密保存到数据库的元数据表中。该参数仅支持type为OBS时设置。 dli_address DLI服务的终端节点,即endpoint。
GaussDB(DWS)用户和角色是什么关系? 用户和角色在整个集群范围内是共享的,但是其数据并不共享。即用户可以连接任何数据库,但当连接成功后,任何用户都只能访问连接请求里声明的那个数据库。 角色(ROLE)本质上是一组权限的集合,通常情况下使用ROLE来组织权限,使用用户进行权限的管理和业务操作
//bucket01/obs.example.com accesskey=xxxxx secretkey=xxxxx region=cn-north-1' ); 其中,词典文件全名为nn_no.dict和nn_no.affix,所在目录为 'obs://bucket01/obs.example.com