检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是平台工程 平台工程(Platform Engineering)是一种通过构建和运营自助式内部开发平台(IDP,Internal Developer Platform)来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式,减少开发人员与底层基础设施之间的复
平台工程 什么是平台工程 如何构建平台工程 父主题: 顶层规划
如何构建平台工程 在云平台上构建平台工程,可以充分利用云平台提供的丰富服务和工具,降低构建和维护成本,并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台(IDP),优化软件交付和生命周期管理,提高开发效率
策略等。 调研数据流: 调研大数据平台及业务的架构图及数据流图,如下图: 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式(如:实时数据上报、批量数据抽取)。 分析大数据平台数据流向,数据在平台内各个组件间的流向,例如:数据采集组件类型、采集组件下一层、存储数据组件,数据处理过程中的工作流等。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平台上没有
云上高可用方案 公有云上业务的可用性,由应用层的可用性,架构设计的可用性、云服务的可用性共同决定。业务可用性目标的达成是一项系统工程,公有云模式下,业务的可靠性取决于客户对整体业务架构的可用性设计、运维规范管理(如:备份机制、日常演练、人员操作规范等)。 图1 业务可用性方案 华
准备。 要按照应用部署架构设计方案进行云上资源的开通和配置,云上资源开通主要有如下3种方式: 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接,调用云平台的API接口,批量发放云资源,每个云服务都有对应的API接口,可以进行资源的生命周期管理。详情请见对
评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker,但也有其他选择,如Kubernetes等。 容器化应用程序:将应用程序拆分为较小的模块或微服务
OS不变,版本一致,停机时间长 - 重新部署:针对公有云的平迁方式的应用上云场景,我们建议使用CI/CD流水线构建自动化平台,然后在云上重新部署应用。 SMS工具迁移:是一种P2V/V2V迁移服务,可以帮您把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上,从而
到华为云的推荐配置以及主机的一站式迁移能力。 主机迁移服务(SMS):是一种P2V/V2V迁移服务,可以把X86物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数据复制服务(DRS):用于数据库实时迁移和数据库实时同
移方法请参考前面的数据迁移部分的内容。 源端SQL脚本导出:从源端任务调度平台导出SQL脚本。 修改SQL脚本:根据云上调度平台的语法及资源配置修改SQL脚本。 目标云平台导入SQL脚本:在云上任务调度平台配置SQL类任务,导入SQL脚本。 SQL任务运行和测试:执行SQL调度任
AZ故障域说明 AZ (Availability Zone) 是公有云的一个独立的故障域,一个AZ是由物理上互相隔离的数据中心组成,每个AZ都具有独立的电力供应、网络连接和硬件设施,公有云厂商通常会将不同的AZ部署在不同的地理位置,以提高系统的可用性和故障容错能力,AZ故障域的优点包括:
e of the Cloud Report》报告显示,管理云成本成为企业用云的头号挑战,企业的的云成本平均超过预算15%,平均有27%的公有云成本是浪费的,51%的企业已经成立了专门的FinOps团队,另外有20%的企业计划在未来一年成立FinOps团队。 越来越多的企业在利用云
优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件,部署架构设计时,可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据集群组件,但
登录华为云官网,在上方导航栏选择“解决方案>通用解决方案>Haydn解决方案数字化平台”进入Haydn解决方案数字化平台首页,在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。 支持输入架构模板名称、适用行业、适用场景等关键字对架构模板进行查找; 支持按照模板类型、部署环境、适用行业、适用
保障 在上云迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 云平台监控:确保建立有效的监控系统,跟踪云平台的性能、可用性和安全性。设置警报机制,及时发现并解决潜在的问题。 系统监控和运维:设置系统监控和告警,确保及时发现和解决潜在的问题。配置基础设施监控工具,监测服
多个独立的云平台上,实现跨云容灾,避免单一云平台故障带来的业务中断。即使一个云平台出现问题,其他云平台上的业务仍然可以正常运行,保障业务连续性。 避免厂商锁定:将所有业务都放在一个云服务商的云平台里会造成厂商锁定,使企业在未来的谈判中处于劣势,并且难以迁移到其他平台。多云战略可以
日刷新/周刷新/月刷新/实时更新 任务执行区间 让数据迁移、数据校验和业务高峰期错开。 离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
任务数量 调研各类任务的总数量,用于评估任务迁移周期及改造工作量。如:XX调度平台下,Jar任务XX个。 任务更新周期 识别出不同调度平台,不同任务类型的任务更新周期。如:XX调度平台XX类任务月度更新;XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息,包括