检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
3节点（1+1+1）或5节点（2+2+1）。当某个AZ不可用时，集群依旧有超过半数的法定主节点选举个数，保证ZK leader的正常选主。 Kafka-Broker数据节点高可用：Kafka-Broker节点3AZ分布(2+2+1)。Topic副本至少设置3副本，设置unclean.leader.election.
大量的数据库处理。 数据库层：华为云RDS数据库可平滑扩展只读数据库的实例，应对大量数据读的场景；配套DDM实现多套实例水平扩容，将大表的数据做水平拆分，均匀拆分到多个数据库实例中，从而提升数据库的容量和性能。此外华为云自研GaussDB数据库采用存算分离架构，支持分钟级的横向扩展能力，减少业务中断时间。
根据源端数据权限控制组件的不同，选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。 交易类是核心数据，日志类是非核心数据 数据更新频率 针对不同的刷新周期，制定数据的迁移计划和校验计划。
或标签来设置权限。 细粒度操作：将云资源的读、写、列表等操作进一步细化，对其细化操作进行鉴权，并将这些细化操作变成可供用户配置的权限操作。以云主机为例，将其读操作细化为读取规格、读取标签、读取服务器详情、读取挂载的磁盘、读取网卡等细粒度操作，这些细粒度操作在用户配置权限的时候是可
在历史作业成功迁移并通过调测后，开始进行增量作业的迁移和同步。增量作业是指在迁移过程中新增的、需要定期运行的作业。 作业双跑 在增量作业迁移和同步成功后，进行作业双跑。作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业，以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。
等操作。业务连续性高的业务，很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时，需要结合业务连续性、迁移网络、业务架构等因素，选择合适的结构化数据迁移方案，做到数据迁移复杂度、数据迁移实时性，业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式
云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
计算服务选型 华为云提供的计算服务主要是ECS（Elastic Cloud Server）服务和CCE（Cloud Container Engine）服务，华为云提供了很多ECS的实例类型，如下表所示，以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息，请查看实例类型。
保障 在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服
实践汇总。 表2 数据库迁移最佳实践 源数据库类型 目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的，应用部署架构是基于单个应用进行调研的，主要调研应用的四层部署架构，即接入层、应用层、中间件层和数据层，同时还要调研每一层技术组件的详细信息，比如规格、版本、容量等。具体的调研内容如下： 调研应用的四层部署架构 收集接入
通过为每个云资源设置标签，可以实现精细化的成本追踪和管理，有效控制云成本，提高企业财务管理的有效性和便捷性。标签也是财务部门实施精细化管理的重要工具。可以让财务人员以更好地理解、管理和优化公司的IT投资。这包括且不限于以下几个方面： 更精确的成本控制：合理且标准的标签，可以使财务
1 修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端消息队列MQ的内网域名-》华为云实例IP
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多
都拥有相关的值。 图1 资源标签示例 华为云提供的标签管理服务（Tag Management Service，简称TMS）是一种快速便捷将标签集中管理的可视化服务，提供跨区域、跨服务的集中标签管理和资源分类功能，为客户提供统一的控制台与API接口，并最终实现用户对资源的使用权限、
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景：缓存和数据库存储。在缓存时，一般不用进行迁移数据，大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景，其中在web场景下的缓存session时，也可以不用迁移，当客户端重新登录时会在华为云DCS中再一次存储。
业务运行； RDS for MySQL采用主备部署方式，主备实例之间的数据实时同步，如果主实例出现故障，备实例可以快速升为主实例； Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶，应对数据误操作之后的风险； 云主机/云硬盘可通过CBR云
复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。 掌握数据库性能优化技术（如索引优化、分库分表）。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
