检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
平台工程 什么是平台工程 如何构建平台工程 父主题: 顶层规划
更新周期等。 本节重点介绍大数据平台、数据和任务的调研。 平台调研 大数据平台调研主要调研大数据集群、大数据任务调度平台和数据流向。 调研大数据集群 需要调研大数据集群的数量和功能划分,各个集群或组件负责的业务和处理的数据类型,处理实时/离线数据的组件及详细版本信息,数据格式类型
什么是平台工程 平台工程(Platform Engineering)是一种通过构建和运营自助式内部开发平台(IDP,Internal Developer Platform)来优化软件交付和生命周期管理的工程学科。其目标是通过标准化和自动化的方式,减少开发人员与底层基础设施之间的复
如何构建平台工程 在云平台上构建平台工程,可以充分利用云平台提供的丰富服务和工具,降低构建和维护成本,并提高IDP的可靠性和可扩展性。以下是一些关键步骤。 明确平台工程的目标和需求 平台工程的核心目标是通过构建自助式内部开发平台(IDP),优化软件交付和生命周期管理,提高开发效率
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平台上没有
与其他部门或团队进行交流,了解应用程序与其他公司、供应商或合作伙伴之间的集成关系。这些关系可能包括数据共享、接口调用、权限控制等。 服务提供商和文档 如果应用程序依赖于外部服务提供商,查阅其提供的文档、API 参考和支持资源,以获取关于依赖关系的详细信息。 父主题: 应用系统调研
CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务(Data Express Service,简称DES) DES是面向TB到数百TB级数据上云的传输服务,目
源开通主要有如下3种方式: 在云平台Console控制台手动创建云资源。 编写脚本或通过自动化平台对接,调用云平台的API接口,批量发放云资源,每个云服务都有对应的API接口,可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如,利用API创建云服务器,请参考这个链接。
数据采集和提取,将原始数据收集到大数据平台进行后续处理和分析。 数据集成: 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作,以确保数据的一致性和准确性。 数据存储: 大数据平台需要具备高效的数据存储能力,以承载海量的
复制工具(DRS)、Redis数据迁移工具、云数据迁移工具(CDM)、对象存储迁移工具(OMS)等。 迁移中心(MgC):是一站式迁移平台,集成了华为云的各个迁移工具,内置了由最佳实践总结而来的迁移工作流模板,您可以根据不同迁移场景,选择合适的迁移模板构建迁移工作流。具体功能及使用方法请查看MgC帮助文档。
钥由硬件安全模块(Hardware Security Module,HSM) 保护,并与多个华为云服务集成。用户也可以借此服务开发自己的加密应用。关于DEW服务的详细功能和详细使用方法,请参考官网帮助文档。 主机安全 主机安全服务(Host Security Service,HS
选择合适的集成方式:根据您的需求和应用特点,选择合适的集成方式。华为云的Roma Connect提供了多种集成方式,如API集成、消息队列、事件触发器等。根据应用之间的依赖关系和通信方式,选择最合适的集成方式。 设计集成方案:基于对应用的分析和选定的集成方式,设计一个详细的集成方案。这包括定义接口规范、数据映射、消
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker,但也有其他选择,如Kubernetes等。 容器化应用程序:将应用程序拆分为较小的模块或微服务
老会员退会、订单退款、订单返劵等核心功能。 周边系统集成功能测试 测试的内容强依赖应用系统的集成功能,比如某大型零售电商平台,和某团购平台、某外卖平台、某到家平台、某小视频平台等都有业务合作,集成的用例至少包括在这些集成平台的下单、用劵、通知发货,评论等各种功能的验证。 功能测试目的
、遵从报告,基于安全云脑提供详细加固指导进行风险闭环管理。您可以进一步使用安全云脑全面清点各类资产的防护覆盖情况,统一管理各层防线的安全策略。 数据集成及安全分析 首先,将安全数据统一对接到安全云脑中,云服务日志一键接入,同时构建云上云下数据统一集成方案,接入第三方生态软件的日志。
统服务等)加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS,详细操作指导请参考官网文档。 任务迁移 大数据任务迁移是指将大数据任务从一个调度平台迁移到另一个调度平台的过程,主要涉及Jar类任务、S
仅成本低,而且很便利。下面以某大型零售电商平台为例,介绍上云后的跨AZ高可用设计方法。下图是总体架构图: 图1 高可用设计示例 接入层:Apisix双AZ均衡分布,当某个AZ出现故障时,ELB健康检查机制仍可将流量转发到正常AZ的Apisix实例处理。 应用层:容器化部署,业务节
了业务切换的流程和详细步骤。Runbook主要包括两部分,Runbook checklist和Runbook操作步骤,下面将从几个方面详细介绍如何设计切换Runbook。 Runbook设计原则如下: 一个Runbook对应一次切换操作。 Runbook要详细描述切换步骤、操作人
安全责任共担模型 华为云的安全责任在于保障云平台和云服务自身的安全,涵盖华为云数据中心的物理环境和运行其上的基础服务、平台服务、应用服务等。这不但包括华为云基础设施和各项云服务的安全功能和性能,也包括对这些云基础设施和各项云服务进行安全运维和运营,以及保障华为云平台和云服务遵从相关的合规性要求。