检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 查看实例详情 GDS-Kafka支持的消息格式 表2 GDS-Kafka支持的消息格式 kafka.source.event.type 格式示例 格式说明 cdc.drs.avro 华为云DRS的内部格式,DRS生产至Kafka的avro格式,GDS-Kafka可直接对接进行解析入库
创建VPC 背景信息 在创建集群之前,您需要创建VPC,为GaussDB(DWS) 服务提供一个安全、隔离的网络环境。 如果用户已有VPC,可重复使用,不需多次创建。 关于创建VPC的详细信息可以参考《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。 操作步骤 登录管理控制台。
创建外表,用于对接GDS和GaussDB(DWS),将数据服务器上的数据导入到GaussDB(DWS)集群中。 启动GaussDB(DWS)并创建数据库表后,将数据导入到表中。 根据错误表中的提示诊断加载错误并更正这些错误。
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格
存算分离具有以下优势: 湖仓一体:提供简单、易维护的湖仓一体体验,无缝对接DLI,支持元数据自动导入、外部表查询加速、内外表关联查询,支持数据湖格式读写,简化数据入湖入仓。
使用CDM迁移AnalyticDB for MySQL至GaussDB(DWS)集群 本实践演示如何使用云数据迁移服务CDM将AnalyticDB for MySQL(后面简称ADB)数据迁移到GaussDB(DWS)。 云数据迁移(Cloud Data Migration,简称CDM
使用CDM迁移Hologres至GaussDB(DWS)集群 本实践演示如何使用云数据迁移服务CDM将Hologres数据迁移到GaussDB(DWS)。 云数据迁移(Cloud Data Migration,简称CDM),是一种高效、易用的批量数据迁移服务。了解更多请参见云数据迁移
恢复快照到新集群 功能介绍 该接口用于使用快照恢复到新集群。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/snapshots/{snapshot_id}/actions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC
从DLI导入表数据到GaussDB(DWS)集群 本实践演示使用GaussDB(DWS)外表功能从数据湖探索服务DLI导入数据到GaussDB(DWS)数据仓库的过程。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、数据湖探索
使用集群前必读:高可用高可靠要求 DWS业务逻辑包括业务程序层、DWS集群层、OS层、虚拟机层,如表1所示。 您的DWS业务系统在运行过程都受到这些逻辑层级的影响,难免会因为业务变更、硬件故障,导致业务需要进行临时调整及应急恢复。 为了保证您更好的使用DWS集群,获得较快的RTO(
创建集群前检查 功能介绍 该接口用于创建集群前预检查。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/cluster-precheck 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法
如何与GaussDB(DWS)进行通信? 业务应用与DWS进行通信的基本原则是确保业务应用所在网络与DWS的网络能连通,以下是当前主流连接场景,请根据实际情况进行选择。 表1 如何与DWS进行通信 场景 通信方式 支持的连接方式 云上 业务应用与DWS在同一个区域内同一个VPC下
开发指南>GUC参数>运行时统计>查询和索引统计收集器 开发指南>系统表和视图>系统表>PGXC_STAT_OBJECT视图 SQL语法参考>函数和操作符>统计信息函数 安全 对接OneAccess认证 PG_AUTHID的rolauthinfo字段新增“OneAccess认证”。
【融合统一】 一键湖仓:通过create external schema直接对接HiveMetaStore元数据,避免复杂的create foreign table操作,降低维护代价,详情参见跨集群访问HiveMetaStore元数据。
无法连接GaussDB(DWS)集群时怎么处理? 检查原因 基本原因可能有以下几种: 集群状态是否正常。 连接命令是否正确,用户名、密码、IP地址或端口无误。 安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接,还需要检查以下可能导致异常的原因
CREATE VIEW 功能描述 创建一个视图。视图与基本表不同,是一个虚拟的表。数据库中仅存放视图的定义,而不存放视图对应的数据,这些数据仍存放在原来的基本表中。若基本表中的数据发生变化,从视图中查询出的数据也随之改变。从这个意义上讲,视图就像一个窗口,透过它可以看到数据库中用户感兴趣的数据及变化
CREATE VIEW 功能描述 创建一个视图。视图与基本表不同,是一个虚拟的表。数据库中仅存放视图的定义,而不存放视图对应的数据,这些数据仍存放在原来的基本表中。若基本表中的数据发生变化,从视图中查询出的数据也随之改变。从这个意义上讲,视图就像一个窗口,透过它可以看到数据库中用户感兴趣的数据及变化
使用GaussDB(DWS)秒级查询交通卡口通行车辆行驶路线 本实践将演示交通卡口车辆通行分析,将加载8.9亿条交通卡口车辆通行模拟数据到数据仓库单个数据库表中,并进行车辆精确查询和车辆模糊查询,展示GaussDB(DWS)对于历史详单数据的高性能查询能力。 GaussDB(DWS
自定义指标列表 指标名称 指标描述 指标返回参数 指标返回参数类型 指标返回参数描述 AbnormalJob 异常作业监控统计 ctime Timestamp 采集时间。 virtual_cluster_id Integer 集群虚拟ID。 query_id String 查询ID