迁移数据-华为云

分布式消息服务KAFKA版-Kafka数据迁移概述:迁移方案一：先迁生产，再迁消费

迁移方案一：先迁生产，再迁消费指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题，适用于对消息顺序有要求的场景。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。重启生产业务，使得生产者将新的消息发送到新Kafka实例中。观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。重启消费业务，使得消费者从新Kafka实例中消费消息。观察消费者是否能正常从新Kafka实例中获取数据。迁移结束。

分布式消息服务KAFKA版迁移数据

分布式消息服务KAFKA版-Kafka数据迁移概述:迁移方案二：同时消费，后迁生产

迁移方案二：同时消费，后迁生产指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景适用于对端到端时延有要求，却对消息顺序不敏感的业务。启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。重启生产客户端，将生产业务迁移到新Kafka实例中。生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。等待原Kafka中数据消费完毕，关闭原有消费业务客户端。迁移结束。

分布式消息服务KAFKA版迁移数据

分布式消息服务KAFKA版-Kafka数据迁移概述:迁移准备

迁移准备配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址，则消息生成与消费客户端需要有公网访问权限，并配置如下安全组。表1 安全组规则方向协议端口源地址说明入方向 TCP 9094 Kafka客户端所在的IP地址或地址组通过公网访问Kafka（明文接入）。入方向 TCP 9095 Kafka客户端所在的IP地址或地址组通过公网访问Kafka（密文接入）。创建目标Kafka实例。目标Kafka的规格不能低于原业务使用的Kafka规格。具体请参考购买Kafka实例。在目标Kafka实例中创建Topic。在目标Kafka实例上创建与原Kafka实例相同配置的Topic，包括Topic名称、副本数、分区数、消息老化时间，以及是否同步复制和落盘等。具体请参考创建Kafka Topic。

分布式消息服务KAFKA版迁移数据

分布式消息服务KAFKA版-Kafka数据迁移概述:迁移方案三：先迁消费，再迁生产

迁移方案三：先迁消费，再迁生产指首先通过Smart Connect同步两个Kafka的消息，其次将消费端迁移到新Kafka，最后将生产端迁移到新Kafka。本方案依赖于Smart Connect，Smart Connect实时同步源端和目标端的数据，但是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异，存在少量重复消费问题。此场景适用于生产端不可停止，端到端有时延要求，但是可以兼容少量重复消费的业务。创建Kafka数据复制的Smart Connect任务，用于同步两个Kafka的消息。具体步骤请参见配置Kafka间的数据复制。在Kafka控制台的“消息查询”页面，查看两个Kafka的最新消息是否一致，确认两个Kafka的同步进度是否一致。具体步骤请参见查看Kafka消息。是，执行3。否，在监控页面查看两个Kafka的“Kafka每分钟同步数据量”是否正常，如果正常，先等待两个Kafka的同步进度一致，然后执行3。将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。重启消费业务，使得消费者从新Kafka实例中消费消息。观察消费者是否能正常从新Kafka实例中获取数据。修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。重启生产客户端，将生产业务迁移到新Kafka实例中。生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。迁移结束。

分布式消息服务KAFKA版迁移数据

云搜索服务 CSS-Logstash使用流程

Logstash使用流程表1 Logstash集群的使用流程任务分类操作参考文档使用规划集群在创建Logstash集群前，需要先完成集群规划。规划时，应考虑是否多可用区部署以提高集群的高可用性，合理配置集群的节点数量与规格，以确保集群的稳定性和性能。 Logstash集群规划建议创建集群基于集群规划，创建合适的Logstash集群。创建Logstash集群配置路由当Logstash集群与数据源子网位于同一主网卡时，网络自动互通；如果不同，则需在Logstash集群的每个节点上配置指向源数据服务器IP的回程路由。配置Logstash集群路由配置Logstash迁移任务通过Logstash集群的配置中心，可以创建并启动Logstash配置文件，以实现数据从不同数据源到目的端的迁移。创建Logstash配置文件启动Logstash迁移任务运维扩缩容 CSS 服务提供灵活的扩容和缩容功能，支持增加节点数量、升级节点规格，以及随机缩容节点，以动态调整集群资源，适应不同业务需求并优化成本。扩容Logstash集群缩容Logstash集群管理集群 CS S服务提供全面的集群管理功能，包括集群信息查看、标签管理、企业项目绑定、自定义CA证书上传等，旨在帮助用户高效、灵活地管理Logstash集群。查看Logstash集群信息设置Logstash集群标签为Logstash集群绑定企业项目管理Logstash集群的CA证书强制重启Logstash集群删除Logstash集群监控与日志管理 CSS服务提供全面的监控和日志管理功能，包括集群、节点和Logstash管道监控指标、告警规则配置、日志备份与查看，帮助用户有效监控和分析Logstash集群，确保集群的稳定性。 CES 中Logstash集群支持的监控指标使用CES监控Logstash集群查询和管理Logstash集群日志审计日志通过云审计服务，用户可以记录和查询Logstash集群的关键操作事件，且操作记录在管理控制台保存最近7天，便于后续的审计和回溯。查看Logstash集群审计日志父主题：使用Logstash迁移数据

云搜索服务 CSS 使用Logstash迁移数据

云搜索服务 CSS-Logstash集群规划建议:规划虚拟私有云和子网

规划虚拟私有云和子网 CSS服务支持在非共享VPC和共享VPC内创建集群。共享VPC和非共享VPC相比，有如下优势：在一个账号内统一创建资源，并将资源共享给其他账号，其他账号无需创建重复资源，可以精简资源数量以及网络架构，提升管理效率并节约成本。比如不同账号下的VPC网络互通需要建立对等连接，使用共享VPC后，则不同账号用户可以在同一个VPC创建资源，免去了对等连接配置，有效的简化组网结构。在一个账号内统一管理运维资源，便于企业集中配置业务安全策略，并且利于对资源使用情况的监控和审计，支撑业务的安全诉求。当选择使用共享VPC创建集群时，需要提前完成共享VPC子网的创建，操作流程请参见表2。有关共享VPC的使用限制及详细操作指导等信息可以参考共享VPC概述。表2 共享子网创建流程说明方法说明操作指导方法A 通过 RAM 管理控制台，所有者创建共享，将子网共享给使用者。配置如下：选择共享子网。为共享子网选择权限，即指定使用者对该共享子网具备的权限。 CSS服务在共享VPC中创建集群需要选择权限：default vpc subnet statement。指定共享子网的使用者，可以指定多个。共享创建完成后，通过RAM管理控制台，使用者可以选择接受或者拒绝共享申请。使用者接受共享申请，子网共享成功。如果后续使用者不再需要使用该共享子网，可以退出该共享。使用者拒绝共享申请，子网共享失败。创建共享接受/拒绝共享邀请退出共享方法B 通过RAM管理控制台，所有者创建共享，将子网共享给使用者。配置如下：选择共享子网。为共享子网选择权限，即指定使用者对该共享子网具备的权限。 CSS服务在共享VPC中创建集群需要选择权限：default vpc subnet statement。指定共享子网的使用者，可以指定多个。通过VPC管理控制台，选择上一步中已创建的共享，将子网加入到该共享内。共享创建完成后，通过RAM管理控制台，使用者可以选择接受或者拒绝共享申请。使用者接受共享申请，子网共享成功。如果后续使用者不再需要使用该共享子网，可以退出该共享。使用者拒绝共享申请，子网共享失败。创建共享将VPC子网共享给其他账号接受/拒绝共享邀请退出共享

云搜索服务 CSS 使用Logstash迁移数据

云搜索服务 CSS-Logstash集群规划建议:规划集群可用区

规划集群可用区为防止数据丢失，并确保在服务中断情况下能降低集群的停机时间，从而增强集群的高可用性，CSS服务支持跨可用区（即多可用区）部署。用户可以在同一个区域内选择两个不同的可用区进行集群部署。在创建集群时，如果用户选择了两个可用区，CSS服务将自动开启跨AZ的高可用性特性，确保节点在这些可用区内均匀分配。系统均匀分配的节点满足各个AZ之间节点数量的差小于等于1，具体的节点分布情况，包括不同数量的节点如何在各个可用区中分布，可以参考表1。在创建集群时，选择的节点数量都要大于等于2，否则跨可用区部署会失败。部署跨AZ集群时，节点会被均匀的分布在不同的AZ上。表1 节点数量和AZ分布集群节点个数单AZ 两AZ AZ1 AZ1 AZ2 1个节点 1 不支持 2个节点 2 1 1 3个节点 3 2 1 4个节点 4 2 2 … … … …

云搜索服务 CSS 使用Logstash迁移数据

云搜索服务 CSS-Logstash集群规划建议:规划节点存储

规划节点存储规划节点机型由于Logstash集群不涉及存储大规格数据，推荐选用计算密集型机型。规划节点规格在规划节点规格时，推荐优先考虑高配置但节点数量较少的方案。例如，一个由3个节点组成的集群，每个节点配置为32核CPU和64GB内存，通常比一个由12个节点组成的集群，每个节点配置为8核CPU和16GB内存，在集群的稳定性和扩展性方面更具优势。优势主要体现在如下方面。集群稳定性：高配置节点通常能提供更强的处理能力和更大的内存空间，从而提高集群的整体稳定性。扩容便捷性：当高配置集群遇到性能瓶颈时，可以通过横向扩展轻松解决，即简单地向集群中添加更多具有相同高配置的节点。这种扩展方式简单直接，易于实施。维护简便：较少的节点数量意味着更少的维护工作和更低的管理复杂性。相比之下，低配置集群在需要扩容时，往往需要进行纵向扩展，即提升单个节点的配置。这不仅可能涉及更复杂的迁移和升级过程，还可能增加额外的维护成本和技术挑战。因此，在规划集群时，应综合考虑性能、成本、维护和扩展性，选择最适合业务需求的节点规格。规划存储容量 Logstash集群的云盘存储容量默认是40GB，且不支持修改，因此无需规划。

云搜索服务 CSS 使用Logstash迁移数据

数据仓库服务 GAUSSDB(DWS)-实例管理:GDS-Kafka入库模式

GDS-Kafka入库模式 GDS-Kafka的数据入库都是先将数据copy至临时表，然后再根据客户的使用场景以及目标表有无主键进行merge或者insert，详见下表：表3 GDS-Kafka入库模式入库操作 app.insert.directly 是否主键表入库模式 insert true（仅支持无主键表）否使用insert select从临时表写入到目标表。 false 是根据主键从临时表merge到目标表。否使用insert select从临时表写入到目标表。 delete true（仅支持无主键表）否使用insert select从临时表写入到目标表。 false 说明： delete操作支持标记删除，通过配置app.del.flag参数可以指定删除标记字段，如果配置了标记删除字段，则会通过将删除字段设置为1来标记删除的记录。是如果设置了delflag字段，则会根据主键进行匹配merge，如果匹配到主键并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段置为1，否则将插入一条新的记录。如果没有设置delflag字段，则会根据主键进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。否如果设置了delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配merge，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段值置为1，否则将插入一条新的记录。如果没有设置delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。 update true（仅支持无主键表）否使用insert+select从临时表写入到目标表。 false 说明： update操作会被拆分，将before或者beforeImage中的消息拆分为delete操作，将after或者afterImage中的消息拆分为insert操作，然后再按照insert和delete的行为进行入库处理。是相当于有主键表的insert+delete操作。否相当于无主键表的insert+delete操作。

数据仓库服务 GAUSSDB(DWS) 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群

数据仓库服务 GAUSSDB(DWS)-实例管理:实例管理概述

实例管理概述数据迁移功能采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可互相访问。其中实例管理通过购买GDS-Kafka实例帮助用户创建、管理集群。GDS-Kafka的工作方式是从Kafka中消耗数据并缓存，当达到设置好的时间或数据量之后，通过COPY写入 GaussDB (DWS)临时表，再从临时表进行插入或更新操作。 Kafka的消息生产端必须按照一定的格式要求进行数据生产，其中消息格式由“kafka.source.event.type”配置参数指定。当前支持的消息格式详见GDS-Kafka支持的消息格式。 GDS-Kafka支持直接insert（仅限无主键表）和merge覆盖更新两种入库模式，您可以根据DWS目标表的类型进行灵活配置，直接insert模式由于不涉及更新在性能上要更优一些。其中入库模式由“app.insert.directly”配置参数和有无主键共同决定，详见GDS-Kafka入库模式。 GDS-kafka只支持目标表表名和字段全小写。 GDS-Kafka的删除是根据扩展字段中的pos进行历史删除，如果入库数据中有delete操作，则必须使用扩展字段。

数据仓库服务 GAUSSDB(DWS) 使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群

云服务器内容精选

迁移数据

7*24

备案

专业服务

退订

建议反馈

售前咨询热线