检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配
统一安全管理 以安全运营账号为中心,在这里集中部署安全云脑(SecMaster)、数据安全中心(Data Security Center,DSC)、数据库安全服务(Database Security Service,DBSS)、数据加密服务(Data Encryption Workshop
一个分批不能太大,太大增加迁移风险 根据业界最佳实践,一个批次不应超过20个应用程序、150 个服务器和30个数据库,超过这个大小挑战和风险都很大,增加失败挑战和回退风险,建议严格检查此规则的任何例外情况。
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。
参数一致性检查:核对源端参数和目的端云服务参数的一致性,如数据库的字符集一致性,数据库的用户名等一致性等。 父主题: 设计Runbook
基于以上选型原则,以下是一些典型场景的选型建议: 除非自建数据库双机/集群等场景,否则通常不建议使用共享盘,而是改用SFS服务来实现多主机的文件共享(共享盘不支持跨AZ被挂载到多个ECS,而SFS支持)。
中间件层和数据层的详细信息,收集三种关联关系(共享数据、共享服务器、应用间通信依赖),可以参考下表收集应用的详细部署架构: 表1 应用调研表 应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL
概述 根据Flexera在2024年发布的《State of the Cloud Report》报告显示,管理云成本成为企业用云的头号挑战,企业的的云成本平均超过预算15%,平均有27%的公有云成本是浪费的,51%的企业已经成立了专门的FinOps团队,另外有20%的企业计划在未来一年成立
调研应用上云需求 调研内容包括当前应用上云的需求和约束条件: 迁移时间窗 切换时间窗 目标架构的要求(功能、性能、可用性、安全、成本、可扩展性、可运维性) 回退要求 业务的关联关系确认。 调研方式包括人工访谈或Workshop头脑风暴,可以与前面2项调研内容合并调研,减少调研次数。
表1 Redis迁移场景 Redis使用场景 迁移方式 Redis实例中的数据用作缓存 业务切换时,为防止Redis后端的数据库被击穿,可基于数据库性能判断使用哪种迁移方案: 方案1:不迁移,将Redis缓冲数据提前预热 方案2:使用Redis迁移方案迁移缓冲数据 Redis实例中的数据是持久化的
提取关联信息:在解析配置文件时,需要识别出与其他组件或资源相关的信息,例如,可以查找应用之间的相互调用关系,比如从一个应用到另一个应用的URL或API调用;还可以查找应用与数据库之间的连接信息,如数据库地址、用户名和密码等。
方案设计的反模式 在做上云方案设计时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会降低系统的性能和安全性、造成不必要的成本浪费、增加维护难度,甚至导致项目的失败。以下是一些常见的上云方案设计时的反模式。 资源配置不合理 目标架构设计时,未根据业务负载需求合理配置资源,
数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用 Master高可用:容器集群Master 节点3AZ分布, 3节点(1+1+1)。
组建实施团队 在企业上云的实施阶段,组建一支高效且专业的实施团队是确保项目成功的关键。该团队将负责执行上云计划和具体的上云实施工作,保障各项上云任务的顺利进行。上云实施团队应由来自不同领域的专业人员组成,企业可以参考前述的CCoE组织架构和角色职责,组建出一个全面且专业的上云实施团队
图1 小型化CCoE组织架构 当企业云化转型的规模逐步变大,云化转型进入运维治理阶段的时候,可以将小型化的CCoE组织逐步扩大,增加更多的运维治理阶段所需的关键角色,如云基础设施管理员、云网络管理员、数据库管理员、应用运维管理员、云治理专家、安全运营工程师、云成本运营工程师等,逐步演进到如下全功能的
这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。 任务调度: 大数据平台通常需要处理复杂的数据作业。
数据复制服务(DRS):用于数据库实时迁移和数据库实时同步的云服务。提供了实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。具体功能及使用方法请查看DRS帮助文档。
数据库迁移的常见问题。 父主题: 迁移
云原生安全防护(Cloud Native Security) 云服务商提供了丰富的云原生安全服务(比如WAF、Anti-DDoS、云防火墙、秘钥管理等)。
卓越架构设计 我们基于华为公司自身的云上架构设计经验和业界最佳实践整理了卓越架构技术框架(Well-Architected Framework,简称WAF),为架构师、软件工程师、运维工程师等技术人员提供一套云上架构设计原则和最佳实践,其目的是帮助企业在云上设计、构建和运营高韧性、