检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
深入理解云计算的概念、架构和服务,熟悉不同的云部署模型(公有云、私有云、混合云),了解主流云平台的特点和优势。 沟通和协调能力: 优秀的沟通、协调和人际交往能力,能够有效地与不同团队和利益相关者沟通协作,具备跨部门沟通和协调能力。 问题解决能力: 能够快速识别和解决项目中出现的问题和挑战,具备分析问题、制定解决方案和推动落地的能力。
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。
如何构建平台工程 在云平台上构建平台工程,可以充分利用云平台提供的丰富服务和工具,降低构建和维护成本,并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台(IDP),优化软件交付和生命周期管理,提高开发效率
下图所示,在集中化运营模式中,CCoE团队负责集中建设和维护Landing Zone,包含云上的骨干网、IAM和合规审计系统等,同时对企业范围内的云环境进行集中化的IT治理。业务系统所需的云资源也由CCoE团队负责集中部署和运维,所以CCoE团队更容易识别出各个业务系统所需要的公
程和IT架构,以及对企业范围内的云环境进行集中化的IT治理。CCoE团队赋能应用团队全权负责业务系统所需云资源的部署和运维,这样既可以减轻CCoE团队的负担,又可以提升应用团队的自主性,进一步提升应用系统的敏捷性。为避免各业务单元独立部署和运维云资源带来的标准不统一问题,CCoE
成本增加:缺乏中央协调,容易导致重复建设和资源浪费,进而增加云成本。 缺乏整体视图:难以获得企业整体的云资源使用情况,阻碍战略决策和优化。 基于上述优缺点分析,去中心化运营模式适合那些需要完全控制云资源创建和运维的创新业务系统,这些创新业务系统需要紧贴业务需求进行快速创新和迭代。 父主题: 云运营模式
比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率 在任务迁移完成后,对迁移后的大数据任务进行验证。这包括运行作业并检查作业的执行成功率。验证过程中
保障 在上云迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 云平台监控:确保建立有效的监控系统,跟踪云平台的性能、可用性和安全性。设置警报机制,及时发现并解决潜在的问题。 系统监控和运维:设置系统监控和告警,确保及时发现和解决潜在的问题。配置基础设施监控工具,监测服
如果目标架构是采用华为云的任务调度平台DataArts Studio,可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台,有2种方法部署,可以基于华为云ECS重新部署大数据任务调度软件,或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署
部署 云资源开通及配置 迁移工具部署 父主题: 应用迁移上云
需要先停止应用向旧数据源抽数,然后配置并启动应用从新数据源抽数,将应用的数据源从旧数据源切换到新数据源。 图3 抽数场景 父主题: 大数据迁移
切换 切换演练 正式切换 父主题: 应用迁移上云
验证 数据验证 业务验证 父主题: 应用迁移上云
测试能力,上云过程中只需要将新增的用例增加到自动化平台自动执行。 输出测试报告:全部测试用例测试完成后,输出测试报告。 总的来说,功能测试需要确保测试环境和生产环境尽可能的一致,测试用例覆盖率100%,以保证应用上云后的功能正常。 性能验证 性能验证 应用系统迁移到云上后,底层技
内容完整,迁移正常。 文件类数据一致性验证的方法如下表所示: 表4 文件数据一致性对比方式 类型 对比项 工具 描述 对象存储 对象数量 OMS OMS迁移工具,通过MD5校验文件完整性和比对两边桶对象数据量是否一致。 文件存储 文件数量 rclone Rclone迁移工具,使用
检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务),数据动态比对任务配置完成 是 否 数据库相关 检查DRS-mongodb数据迁移任务状态‘增量迁移中’,无异常报错或告警(包含回退任务)
基础环境设计 企业在云上的基础环境主要就是Landing Zone,企业在将任何业务系统云化之前,都需要提前规划和设计一个架构卓越、稳定可靠、易扩展和安全合规的云上运行环境。 具体内容请参考章节 Landing Zone设计。 企业需要针对云环境的安全防护设计全面的安全防护方案,请参考章节安全架构设计。
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统->应用模块逐层打开,如下图:
请参考官网文档。 云数据迁移(Cloud Data Migration,简称CDM) 云数据迁移(Cloud Data Migration, 简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖
性。 架构设计未考虑业务的地理分布 设计云上部署架构时,未考虑业务的地理分布,导致用户访问延迟高,体验不好。 优化建议:根据业务的用户分布特点,选择合适的Region与AZ部署,确保用户能够就近访问应用实例。 将当前的传统架构直接迁移到云上,而没有进行必要的适配和优化,可能会出现稳定性、体验差等问题。