检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库相关 检查DRS-mysql数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务),数据动态比对任务配置完成 是 否 数据库相关 检查DRS-mongodb数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查MySQL数据库源和目的端字符集是否一致
Rclone迁移工具,使用MD5哈希值来验证文件的完整性。同步后会再对比源端和目的端文件数量。 rsync rsync迁移工具,使用MD5哈希值来验证文件的完整性,如果校验和不匹配,则rsync会重新传输该文件,以确保数据一致性。同步后会再对比源端和目的端文件数量。 文件大小 python脚本 迁移完成后,通过对比源端和目的端总文件大小判断是否一致。
业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或
导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
式搜索服务,为用户提供结构化、非结构化文本、以及基于AI向量的多条件检索、统计、报表。Elasticsearch是一个搜索引擎,可以实现单机和集群部署,并提供托管的分布式搜索引擎服务。在ELK整个生态中,Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。详细信息请参考官网文档。
数据需要精确匹配,以避免数据不一致引发的问题。而对于非事务性数据,一些微小的数据差异可能是可以接受的。 从数据重要性来看:关键业务数据对于迁移过程中的数据一致性要求更高,这些数据可能包含了企业核心业务的重要信息,因此在迁移过程中需要确保数据的准确性和完整性。而对于非关键性业务数据,一些小的数据差异可能可以被容忍。
AZ整体宕机情况,确保集群始终有一份完整的副本确保数据高可用。 图6 中间件层Sorl高可用设计示例 数据层- MySQL高可用 主备实例跨AZ部署,借助原生MySQL主从复制同步能力实现主备间数据同步。 主备实例以VIP对外提供服务,自身IP不对租户开放。 主备秒级切换,主备切
应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息
身份和权限设计 华为云基于大量成功交付的项目,总结提炼了以下用户和权限管理的最佳实践。 集中身份和权限管理 企业自己的身份管理系统能更好更及时地匹配员工的入职、转岗和离职流程,避免转岗和离职人员继续拥有访问华为云的访问权限。建议您使用企业自己的身份管理系统与华为云IAM身份中心(IAM
优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。 掌握数据库性能优化技术(如索引优化、分库分表)。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
部署在各自独立的云账号中。这种方式不仅能够与公司现有的治理架构完美匹配,还能够实现高效的故障和安全隔离,将单个业务单元的故障和风险限制在其自身的范围内,减少“减少爆炸半径”。 首先,分级分域管理可以很好地反映和匹配公司的治理架构。企业往往由多个业务单元组成,每个业务单元都有其特定
集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
与c系列相比,提供高IOPS、低时延的大容量NVMe本地盘 ir 与c系列相比,提供高IOPS、低时延的小容量NVMe本地盘 通用计算型 Intel s 与c系列相比,采用非绑定CPU共享调度模式,主机负载较轻时可提供基本与c系列一致的计算性能,成本更低、性价比更高,但无法保证实例计算性能的稳定,适合对性能抖动容忍度较高的场景
评估和选择云服务,确保与应用需求匹配。 解决云化过程中遇到的技术挑战,提供专业支持。 数据架构师 设计高效的数据架构,支持数据分析和业务决策。 确保数据的安全性和合规性。 实现数据的集成和共享,提升数据价值。 规划数据在云环境中的存储和管理方案。 选择合适的云数据库和大数据服务。 实施数据
成本计划 匹配企业管理模型,确保未来成本可追溯 云财务管理的基础是树立成本责任制,让各部门、各业务团队、各负责人参与进来,为各自消耗云服务产生的成本负责。 华为云为客户提供了多种工具,以帮助客户合理规划组织,确保成本可追溯。 大型企业或集团公司可以使用企业组织+多账号的方式,通过账号隔离资源和成本,方便业务快速拓展。
瓶颈风险: CCoE团队的工作负荷过重,无法及时满足各业务单元的需求,影响效率。 缺乏业务理解:CCoE团队可能不理解具体业务场景,导致资源配置不匹配业务需求。 难以满足多样化需求:统一的标准可能难以满足不同业务单元的特定需求。 基于上述优缺点分析,集中化运营模式适合稳态的业务系统,这些
时代,通过引入自动化、智能化等技术手段,团队可以更加高效地管理和维护系统,有几个原则: 选择合适的工具和技术,确保其与业务需求和技术栈相匹配,如自动化部署、故障预测、智能定界定位等。 将工具与现有系统进行整合,根据实际需求进行定制和优化,以满足特定的运维需求。 关注新兴技术和发
发挥云计算的价值。下图是基于云计算的应用生命周期。 图2 基于云计算的应用生命周期 基于云计算的应用生命周期管理需要与前面介绍的云运营模式匹配,不同的云运营模式下,CCoE(或中心IT)与应用团队之间的责任边界和协作关系是不一样的,所以应用生命周期管理流程也会发生变化。 去中心化运营模式