检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题： 迁移业务数据至GaussDB(DWS)集群
Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。
步骤一：创建Kafka实例 登录华为云控制台，服务列表选择“应用中间件 > 分布式消息服务Kafka版”，进入Kafka管理控制台。 左侧导航栏选择“Kafka实例”，单击右上角的“购买kafka实例”。 关键参数如下表说明，其他参数项如表中未说明，默认即可： 表2 kafka实例参数
者 “不可用”的情况下才能下发磁盘扩容。 注意事项 热数据存储只支持磁盘扩容，不支持缩容。 热数据存储扩容时，请选择在业务低峰期进行存储扩容。 若集群是只读或者磁盘满导致的不可用状态，单击“磁盘扩容”后，页面会弹出提示信息，磁盘扩容完成后，请耐心等待集群状态恢复为可用。 包年/包
同样的，以总容量为960G，3个数据节点为例，那么每个节点的磁盘容量就是320G。 登录DWS控制台，选择“监控>节点监控>概览”显示每个节点的磁盘以及其他资源占用情况。 节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量，而在存算一体集群概览里看到的磁盘空间只是集群内能做表数据存储的
磁盘扩容 功能介绍 随着客户业务的发展，磁盘空间往往最先出现资源瓶颈，在其他资源尚且充足的情况下，通过磁盘扩容可快速缓解存储资源瓶颈现象，操作过程中无需暂停业务，并且不会造成CPU、内存等资源浪费。 磁盘扩容功能仅8.1.1.203及以上版本支持，并且创建集群规格需要为存算一体SSD云盘类型。
磁盘监控告警阈值太低，告警频繁 问题现象 DWS集群磁盘使用率达到80%就出现告警，告警频繁。 原因分析 集群配置的告警监控阈值不合理。 处理方法 可在GaussDB(DWS)管理控制台设置告警的触发条件，指定达到磁盘使用率、告警持续时间及告警频次。 集群磁盘使用率达到90%就会
数据膨胀磁盘空间不足，导致性能降低 问题现象 用户数据膨胀严重，磁盘空间不足，性能低。 原因分析 用户可在管控面执行全库Vacuum/Vacuum Full，以定期进行空间回收： 用户频繁创建、删除表，导致系统表膨胀严重，需要对系统表执行Vacuum。 用户频繁执行UPDATE、
账号被锁住了，如何解锁？ 问题现象 连接集群时报错“The account has been locked.”。 原因分析 在连接集群中的数据库时，如果连续输错密码的次数过多，错误次数（输入密码错误的次数由GUC参数failed_login_attempts控制，默认值为10次）达到上限时，会导致账号被锁。
disk_type String 磁盘类型(系统盘、数据盘、日志盘)。 total double 磁盘总容量(GB)。 used double 磁盘已使用容量(GB)。 available double 磁盘可用容量(GB)。 used_percentage double 磁盘使用率(%)。 await
在左侧导航栏单击“作业管理”，进入该实例的作业管理页面。 单击“数据迁移”或“自动建表”（自动建表默认没有“Kafka连接配置”参数）。 填写作业名称，选择“Kafka连接配置”、“DWS集群连接配置”及“自定义表/字段映射”，然后单击“连接测试”。 连接测试成功单击“下一步”进入参数配置页面。
参数说明 Kafka 连接名称 是 创建连接的名称。可自定义。 只能由中文字符、英文字符、数字及特殊字符"_"、"-"组成。 Kafka类型 是 目前支持MRS Kafka、IoT Kafka、DMS Kafka和Default Kafka，其中Default Kafka为开源Kafka。
查看实例详情 GDS-Kafka支持的消息格式 表2 GDS-Kafka支持的消息格式 kafka.source.event.type 格式示例 格式说明 cdc.drs.avro 华为云DRS的内部格式，DRS生产至Kafka的avro格式，GDS-Kafka可直接对接进行解析入库。
在映射管理页面，单击指定表映射配置所在行操作列的“删除”操作。 确认无误后，在删除弹窗中单击“确定”删除表映射配置。 父主题： 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群
磁盘缓存 以下参数仅9.1.0及以上集群版本支持。 enable_disk_cache 参数说明：控制是否打开文件缓存。该参数受enable_aio_scheduler和obs_worker_pool_size的前置控制；只有在enable_aio_scheduler=on以及o
如何清理与回收GaussDB(DWS)存储空间？ GaussDB(DWS)数据仓库中保存的数据在删除后，可能没有释放占用的磁盘空间形成脏数据，导致磁盘浪费、创建及恢复快照性能下降等问题，如何清理？ 清理与回收存储空间对系统的影响如下： 删除无用的脏数据，释放存储空间。 数据库将进
或近15天概览性能指标拓扑图。 磁盘 在“磁盘”一栏页面您可以根据节点和磁盘名浏览指定节点中磁盘的实时消耗使用情况。其中包括： 节点名称 磁盘名称 磁盘类型 系统盘 数据盘 日志盘 磁盘容量（GB） 磁盘使用率（%） 磁盘读速率（KB/s） 磁盘写速率（KB/s） I/O等待时间-await（ms）
目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2.0及以上集群版本支持。 源端数据源不支持DWS，即不支持从DWS迁移到DWS。 支持的数据源 源端数据源 对应的目的端数据源 说明 Kafka 数据仓库服务 GaussDB(DWS)
空间管理 空间管理简介 存储资源无节制的使用可能导致磁盘满，进而导致集群异常、业务中断。磁盘满问题具有业务恢复难度大、恢复时间长的特点，通过引入数据库只读，极大概率降低了磁盘满问题的发生，但是数据库只读同样会导致业务中断，影响业务连续性。为解决数据库只读问题，GaussDB(DWS)提供
53100 错误原因：磁盘空间满。 解决办法：清理磁盘空间或扩容磁盘容量。 GAUSS-04182: "could not read block %u in file '%s': %m" SQLSTATE: XX000 错误原因：读取文件发生IO错误。 解决办法：检查磁盘是否有损坏或者内存是否充足。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
