检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计 大数据在云上的部署架构设计请参考大数据架构设计,本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据,如下表: 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据,短期内不会变化
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
资本支出(Capex) 硬件成本 服务器、存储设备、网络设备(路由器、交换机、防火墙等)的采购成本。 软件成本 操作系统、虚拟化、数据库、中间件等软件的许可证费用。 机房成本 如果是自建机房,包括机房的建设和装修成本、安保系统(包含视频监控和门禁设备等)的建设成本、电力供应系统和冷却系统
企业带来的价值如下: 提升开发者体验: 平台工程提供自助服务功能,简化了基础设施配置、应用部署和管理等流程,让开发者更专注于业务逻辑的开发,而不是底层基础设施的管理。 加速软件交付: 通过提供预先配置好的环境、自动化流程和可重用的组件,平台工程可以显著缩短软件交付周期,更快地将产品推向市场。
降低成本。 自动化伸缩:通过自动化的监控和调度机制,云平台能够根据预设的策略和实时的负载情况,自动进行资源的伸缩。 快速部署和回收:相较于传统的硬件采购和部署周期,云上资源的创建和销毁可以在几秒或几分钟内完成,大幅提高了资源的弹性速度。 提升系统韧性 系统韧性是指系统在面对各种外
适用场景 操作复杂程度 改造工作量 网关拦截 接入层,服务网关拦截写请求,放通读请求 入口统一,有统一网关,网关具有拦截能力,并对拦截的接口能配置友好的提示。 简单 无需改造 停止写服务,读服务不停 写服务或对应接口shutdown,读服务或对应接口保持alive 应用层服务已做读写
台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。 数据安全和权限管理:审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏
MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或云服务MySQL实
东西向网络防护:应该对不同的业务按密级实施分层分级管理,如将不同密级的业务部署在不同的VPC中,通过VPC实施大的网络安全域隔离,通过CFW实施东西向VPC网络之间访问控制,并通过VPC的安全组和ACL在VPC内进一步实施网络微分段隔离。 应用防线 面向互联网发布的应用应该默认部署WAF防护。应用的安全是设计出来的,
采用实施 概述 组建实施团队 基础设施部署 应用迁移上云 大数据迁移 应用现代化 云上创新 采用实施的反模式
概述 应用系统迁移或部署到云上后,云化转型正式进入了运维治理阶段。这一阶段至关重要,因为它直接影响着云上IT基础设施和业务系统的性能、可靠性、安全性和成本效益。通过持续和有效的运维治理,企业能够确保云资源的高效利用,保障业务的连续性和稳定性,实现对云环境的全面掌控,最大化云化转型的收益。
上述CCoE组织是针对企业大规模上云、用云和管云而建立的全功能团队,企业并不需要在云化转型早期就组建一个完整的CCoE组织。 云化转型早期主要是把第一批业务系统迁移或直接部署在云上,这个时候可以建立一个小型化CCoE组织,如下图所示,把必要的角色加入进来,足以支撑第一批业务系统的云化就可以。 我们认为在早期的小
运行环境隔离原则:生产环境要保持稳定、可靠和安全,而开发和测试环境更强调灵活性,所以生产环境与开发测试环境需要严格隔离。同时针对生产环境配置更严格的控制策略,针对开发测试环境配置更松的控制策略。 业务账号设计原则:针对业务部门,建议按照企业当前所定义的业务单元(如子公司、事业部、产品线、部门或项目组等)创建对应的子账号。
并且不会中断现有的业务流程。 实施集成:根据集成方案,开始实施集成。使用Roma Connect提供的工具和平台,配置和设置必要的集成组件和连接器。确保正确地配置数据映射、消息路由和安全认证等关键参数。 测试和验证:在将集成应用投入生产之前,进行全面的测试和验证。确保新旧应用之
所有其他账号下的运维服务COC的管理权限 数据管理组 集中部署和管理企业数据平台,将其他成员账号的业务数据统一采集到数据平台进行存储、处理和分析 数据平台账号的Tenant Administrator权限 公共服务管理组 集中部署和管理企业的公共资源、服务和应用系统,并共享给其他所有成员账号使用 公共服务账号的Tenant
责制定云标准、最佳实践和治理框架,协调各业务单元之间的合作,确保云化转型的高效推进。此外,应用生命周期管理流程也需要进行变革,传统的开发和部署模式难以适应云环境的快速迭代需求,引入敏捷开发、DevOps等先进方法,可以提高开发效率,缩短交付周期,提高对市场变化的响应能力。 在平台
细粒度操作:将云资源的读、写、列表等操作进一步细化,对其细化操作进行鉴权,并将这些细化操作变成可供用户配置的权限操作。以云主机为例,将其读操作细化为读取规格、读取标签、读取服务器详情、读取挂载的磁盘、读取网卡等细粒度操作,这些细粒度操作在用户配置权限的时候是可以自由选择的,这样就可以将权限控制到用户所需的最小操作集合。
容器镜像库等,也可以是CodeArts等PaaS服务。 负责集中部署和维护这些公共IT服务,并将其共享给公司内所有业务单元使用。 保障公共IT服务的安全稳定运行。 熟悉主流云平台的IaaS和PaaS服务,并能熟练部署这些服务。 熟悉云平台之上实现资源共享的技术方案,如基于网络的共
anding Zone,部署可扩展的网络基础设施,配置安全基线和运维基线;然后将各个应用系统和大数据平台迁移或直接部署到云上,或者基于云平台进行应用现代化改造,也可以基于云平台提供的各种创新技术直接在云上进行应用和业务创新。 运维治理:将应用系统迁移或部署到云上之后就进入了运维治
数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边的配置,使源端应用层指向源端和目标端的中间件层/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障;