检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
所有其他账号下的Tenant Guest权限 网络管理组 集中部署和管理企业的网络连接资源,如ER、VPN、DC、NATG等,统一创建和管理各个账号的VPC、子网和NACL;集中部署和管理网络边界安全防护资源,如WAF,CFW等 网络运营账号的Tenant Administrator权限
自动化部署和持续集成/持续交付: 微服务架构通常需要频繁地进行部署和更新。为了简化和加快部署过程,可以引入自动化部署和持续集成/持续交付(CI/CD)流程。使用适当的工具和技术,例如Jenkins、GitLab CI/CD等,来实现自动化的构建、测试和部署流程。在自动化部署和CI
四种停写不停读切换方案对比 停写不停读切换有4种方案可以选择: 表1 四种停写不停读切换方式 方案 操作方式 适用场景 操作复杂程度 改造工作量 网关拦截 接入层,服务网关拦截写请求,放通读请求 入口统一,有统一网关,网关具有拦截能力,并对拦截的接口能配置友好的提示。 简单 无需改造
方案2:在华为云ECS重新部署Kong/Zuul网关,然后拷贝源端配置文件到华为云ECS,并修改转发策略 DNS域名解析 解析应用的内外部域名 方案1:使用华为云平台的DNS服务替代源端的DNS,并重新配置DNS解析地址。 方案2:在华为云的ECS上部署DNS服务,并重新配置DNS解析地址。 方案
未采用自动化部署模式 该反模式是指企业依赖手动进行代码、云资源的配置和部署,效率低,人为错误高。 优化建议:采用自动化的配置和部署工具,如Terraform、CI/CD等,以提高云资源部署的效率和准确性。 未进行切换演练 该反模式是企业未进行充分的切换演练,导致在正式业务切换时出现问题。
切换演练 在功能测试和性能测试完成之后,如果云端应用程序和服务运行稳定,就可以开始进行业务切换了。 业务切换是将业务从源端旧系统切换到云上新系统的过程,需要仔细规划和协调,以确保切换过程中不会影响数据的完整以及业务运行。 一般情况下,业务切换需要进行一定的时间,逐步切换流量,同时
AM身份中心 网络运营账号 集中部署和管理企业的网络资源,包括网络边界安全防护资源,实现多账号环境下的统一网络资源管理和多账号下VPC网络的互通,尤其需要集中管理面向互联网的出入口和面向线下IDC机房的网络出入口 网络管理团队 ER、DNS、NATG、EIP、VPC、DC、CC、VPN、CFW、WAF、AAD等
-Architected Framework,简称WAF),为架构师、软件工程师、运维工程师等技术人员提供一套云上架构设计原则和最佳实践,其目的是帮助企业在云上设计、构建和运营高韧性、高安全、高性能且成本最优的应用系统。 WAF涵盖了五大支柱,如下图所示。 图1 华为云卓越架构技
Notes里体现开源及第三方软件的漏洞修复列表。 配置与变更管理 配置和变更管理对保障应用系统的安全起着重要作用。企业需要对所有应用系统进行配置管理,包括提取配置模型(配置项类型、各类配置项属性、配置项间的关系等),记录配置信息等。并通过专业的CMDB工具对配置项、配置项的属性和配置项之间的关系进行管理。
MySQL高可用 主备实例跨AZ部署,借助原生MySQL主从复制同步能力实现主备间数据同步。 主备实例以VIP对外提供服务,自身IP不对租户开放。 主备秒级切换,主备切换时VIP漂移至新的主节点,应用感知小(只在切换瞬间有秒级中断)。 支持挂载只读节点,只读节点亦可跨AZ部署 图7 MySQL高可用设计示例
中的数据转换、数据格式或数据处理逻辑的问题,并进行相应的修复和调整。 作业执行的性能验证 在迁移后,验证作业的执行性能,包括运行时间、资源利用率、并发性等。通过监测作业的执行指标和性能指标,可以评估迁移后的作业性能是否符合预期。如果作业的性能有问题,可能需要调整作业的配置参数、优化作业代码或考虑资源调配的问题。
门(或者CCoE)可以针对众多业务单元实施多方面的集中管理: 集中网络管理:中心IT部门统一规划、部署和维护企业在云上的网络基础设施,包括专线、企业路由器、VPN、云连接、NAT网关、VPC等。这样可以确保整个企业的网络架构统一、稳定、安全,避免各业务单元自行管理网络所带来的不一
调研:调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计:设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署:部署大数据平台,包括集群部署和任务调度平台部署。 迁移:实施数据迁移和任务迁移。 验证:进行数据校验和任务验证。 切换:配合大数据应用进行切换。 保
Checklist记录了正式切换前需要准备和执行的操作,通常包括如下几个方面: 人员和场地准备 核对参与切换人员,并通知,包括内部人员和第三方配合人员通知和时间核对。 建立切换保障群,切换期间在保障群里进行切换相关公告和通知。 确定切换的具体日期、入场签到时间、操作开始时间。 切换场地的准备,如
如下图: 图2 应用迁移过程 接入层:通常是负载均衡、网关代理等组件,一般通过重新配置的方式实现迁移。 应用层:通常部署在主机或容器上,部署在主机上的应用一般通过华为云主机迁移工具SMS来迁,部署在容器上的应用,一般通过企业的CICD系统重新发布。 中间件层:通常是缓存中间件和消
P2定义:其他补充用例,如切换时间窗足够,可切换当晚测试,如果切换时间窗不够,可第二天测试。 表3 测试用例执行说明 阶段 测试用例 覆盖率 切换前测试 所有 包括所有的应用功能和第三方集成功能测试。特殊无法测试场景需单独讨论模拟测试方案。 切换期间测试 分P0、P1、P2三个级别。 在切换时间窗内至少完成P0和P1级用例测试。
化、数据管理和云安全。 敏捷性 硬件采购和部署周期较长,资源扩展需要经过复杂的审批和采购流程,响应速度较慢。 创新和变更受到硬件资源的限制,难以快速适应业务需求的变化。 云资源可以按需动态扩展或缩减,企业可以快速响应业务需求的变化。 部署新应用或功能的速度显著提高,支持敏捷开发和持续交付。
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、S
大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。 分批迁移的