检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移流程每个阶段概述如下: 调研:调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计:设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署:部署大数据平台,包括集群部署和任务调度平台部署。 迁移:实施数据迁移和任务迁移。 验证:进行数据校验和任务验证。
应用架构设计 应用部署架构概述 可用性设计 可扩展性设计 性能设计 应用部署参考架构 父主题: 方案设计
架构现状和上云需求,有针对性地进行规划和决策。通过评估资源使用情况、组网配置、安全架构等方面的数据,企业可以制定合适的云迁移策略,优化资源配置,提高运维效率,并确保访问权限的管控和资源计量计费的准确性。 总而言之,基础环境调研是为了深入了解企业的IT基础架构现状和上云需求,通过与
应用层:容器化部署,业务节点跨AZ分布。即使某AZ异常,Apisix可以将流量转发到正常应用后端。 中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;Mo
维护Landing Zone,包含云上的骨干网、IAM和合规审计系统等,同时对企业范围内的云环境进行集中化的IT治理。业务系统所需的云资源也由CCoE团队负责集中部署和运维,所以CCoE团队更容易识别出各个业务系统所需要的公共资源,进而集中部署和管理这些公共资源,同时也需要通过集
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
件、网络、操作系统、应用程序和数据等。而在云环境下,采用的是安全责任共担模型。云服务商负责基础设施层面的安全,包括数据中心的物理安全、网络和虚拟化平台的安全;企业作为云服务的租户,则需要负责其在云上部署的操作系统、应用程序和数据的安全配置和管理。 在安全管理与技术实现方面,传统I
云安全团队 云安全团队负责云基础设施和云上业务系统的安全保障工作,主要职责包括云平台安全方案设计、访问控制与权限管理、安全监控与威胁检测、漏洞扫描与修复、数据加密与隐私保护、合规性审查与风险评估,以及应急响应与安全事件处理,确保云上业务系统的安全性、合规性和稳定性。云安全团队通常
成本控制 通过预算管理,跟踪未来资源用量和费用执行 云资源按需灵活扩展,云成本在用云过程中不再固定不变。为了避免意外账单,需要在用云过程中精细化控制,对风险事项建立监控预警机制和应对机制,一旦产生预警则及时应对,避免产生异常高成本。在发生异常时,分析根因也至关重要。如发现异常成本
特别是在云计算环境下,随着业务的扩展和多样性的发展,这种管理方式变得越来越重要。您可以按照业务架构的不同层次和领域,基于华为云Organizations服务构建一个清晰、有序、易于管理的云上组织架构,然后将企业的不同业务单元(如子公司、业务系统、产品线、部门、项目等)部署在各自独
哪些环节需要优化。例如,可能存在环境配置复杂、部署流程繁琐、资源获取周期长等问题。通过与各个团队的沟通,收集需求,明确需要哪些服务、工具和功能来支持开发人员的工作。通过需求分析,制定平台工程的目标,包括但不限于: 提供统一的应用开发、测试和部署平台。 实现自动化的持续集成和持续交付(CI/CD)流水线。
如,使用持续集成和持续交付(CI/CD)工具来自动构建、测试和部署应用程序。 基础设施即代码(IaC):采用基础设施即代码的方法可以将基础设施配置和管理纳入代码库中。这样可以确保基础设施的可重复性、版本控制和自动化部署,从而提高整个环境的稳定性和可靠性。 集中日志和监控:通过集中
会组建自己的应用团队。将这些业务系统云化需要应用团队的配合和协同,应用团队需要协同云实施团队进行业务系统的现状调研、迁移实施、应用现代化改造和测试验证,协同云架构团队基于云技术和云服务设计业务系统的云上应用架构,协同云运维团队确保业务系统在云上的长期安全稳定运行。应用团队的成员通
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
安全运营 概述 安全运营框架 安全配置基线 软件工程安全 人员安全管理 云原生安全服务 父主题: 运维治理
双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。 图1 双跑场景 推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用推数,将应用的数据源从旧数据源切换到新数据源。
采用实施 概述 组建实施团队 基础设施部署 应用迁移上云 大数据迁移 应用现代化 云上创新 采用实施的反模式
方案 操作方式 适用场景 操作复杂程度 改造工作量 网关拦截 接入层,服务网关拦截写请求,放通读请求 入口统一,有统一网关,网关具有拦截能力,并对拦截的接口能配置友好的提示。 简单 无需改造 停止写服务,读服务不停 写服务或对应接口shutdown,读服务或对应接口保持alive
为什么要上云试点 上云迁移试点是企业在进行大规模上云迁移之前的重要步骤,它能够帮助企业在大规模迁移之前充分了解和评估各种因素,通过试点上云迁移流程与相关配置,企业可以提前识别出相关风险,为后续大规模上云迁移提供经验。 风险控制:上云迁移是一个复杂的过程,涉及到不同的系统和业务。通
调研应用全景图 应用迁移的调研信息是由粗到细、逐步迭代的,持续整个上云周期,在前期主要是调研应用的全景图,在迁移阶段,要打开每个应用,调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统->应用模块逐层打开,如下图: