检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您参考。 准备环境 已创建3.0 DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT
本实践预计时长:30分钟,基本流程如下: 创建集群。 使用gsql命令行客户端连接集群。 创建冷热表。 冷热数据切换。 查看冷热表数据分布。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置
用区和同一个VPC子网下,ECS的操作系统选择与gsql客户端(本例以CentOS 7.6为例),并选择以密码方式登录。 创建集群 登录华为云管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务”,单击右上角“创建数据仓库集群”。 参见表1进行参数配置。 表1 软件配置
需创建名称为“DWSAccessOBS”的委托,委托创建成功后,GaussDB(DWS)可以将审计日志转储至OBS中。 默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建
GDS-Kafka支持的消息格式 表2 GDS-Kafka支持的消息格式 kafka.source.event.type 格式示例 格式说明 cdc.drs.avro 华为云DRS的内部格式,DRS生产至Kafka的avro格式,GDS-Kafka可直接对接进行解析入库。 无 drs.cdc 使用drs.cdc
存储容量:20G/节点 数据源:OBS桶的csv数据 集群版本:8.1.3.x 操作流程 表1 操作流程 操作步骤 说明 准备工作 注册华为账号并开通华为云,实名认证,为账户充值以及规划和创建VPC、子网资源。 步骤一:创建GaussDB(DWS)集群 创建3节点的GaussDB(DWS)集群