检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
化数据。结构化数据包含各类数据库,例如MySQL数据库、MongoDB数据库等,非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据,主要为业务提供即时数据支撑,包含数据查询、计算、分析、修改等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在
以下是常见的数据库迁移最佳实践。更多最佳实践可以查看DRS最佳实践汇总。 表2 数据库迁移最佳实践 源数据库类型 目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for
Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多HDFS子目录,如果不依赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsearch
云服务高可性检查,确认目标端云资源是否存在单AZ或单点故障问题 是 否 数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查
数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
数据验证方法 数据分为数据库数据、中间件数据和文件数据,这三种数据的一致性验证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。
Configuration Management Database 配置管理数据库 CMM Cloud Maturity Model 云化成熟度模型 CNCF Cloud Native Computing Foundation 云原生计算基金会 COC Cloud Operation Center
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移
Runbook参考模板 Runbook Checklist参考 表1 Runbook Checklist参考样例 大类 前置工作项 责任部门 活动 是否涉及 是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态 - 业务相关
云服务性能测试(以数据库为例) 对于大多数应用系统来说,整个系统的瓶颈往往在数据库。因为应用的其他组件,例如网络带宽、负载均衡、应用服务器、中间件等比较容易实现水平扩展,但对于数据库,由于数据一致性要求高,多数业务系统仍然采用数据库主备方式实现,未实现数据库的分布式架构。 常用的数据库相关指标有:
华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。 表1 ECS实例类型 架构
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。
数据层。子网之间使用网络ACL进行访问控制,还可以将云主机、RDS等资源放入到安全组,通过安全组规则进行实例级别的访问控制。业务系统的应用服务器集群可以跨可用区部署,实现应用层的高可用;再使用华为云跨可用区的主备数据库集群和缓存集群实现数据层的高可用。如下图所示: 图3 业务账号
复杂的计算和分析任务。 数据查询和分析: 对于大量的存储在大数据平台中的数据,需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。
IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。
在单体应用转换为微服务时,您需要考虑数据管理和持久化的问题。每个微服务可能需要有自己的数据库,或者共享同一个数据库。选择适合您的需求的数据库解决方案,并确保数据的一致性和可靠性。在云环境中,您可以考虑使用托管的数据库服务,如华为云RDS、GaussDB等。另外,还需要考虑如何处理跨多个微服务的数据事务
以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;