检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
专家，负责设计云上技术架构，包括选择合适的云服务（IaaS、PaaS、SaaS），基于四架构六要素设计云上目标架构，确保技术选型合理、资源配置最优，并为各项技术决策提供咨询。 数据架构师：由IT主管指派，来自IT部门的大数据团队，负责设计企业在云上的数据架构，包括数据存储、数据处理、数据集成和数据治理。
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
境进行集中化的IT治理。CCoE团队赋能应用团队全权负责业务系统所需云资源的部署和运维，这样既可以减轻CCoE团队的负担，又可以提升应用团队的自主性，进一步提升应用系统的敏捷性。为避免各业务单元独立部署和运维云资源带来的标准不统一问题，CCoE团队需要制定相应的IT治理策略强制各
施工作，包括数据迁移、应用迁移、系统配置、业务割接等，确保迁移过程的数据一致性、安全性和性能。迁移实施工作属于一次性工作，经常会外包给云服务商或者云实施专业服务提供商。 云架构师：来自IT架构部门或具备深厚云技术背景的专家，负责云上架构的部署和优化，为实施团队提供技术支持和指导。
目的端检查：通知云厂家进行资源日常状态的巡检和高可用性检查。另外目的端切换后就是正式生产环境，要确保告警、监控、日志、安全策略均已完成配置并做最后一次检查和确认。 正向迁移任务的状态检查：系统切换前通常迁移任务已经创建完成，并在增量同步状态中，确保迁移任务的增量同步状态正常，无异常报错或告警。
下是一些常见的云采用实施阶段的反模式： 未采用自动化部署模式 该反模式是指企业依赖手动进行代码、云资源的配置和部署，效率低，人为错误高。 优化建议：采用自动化的配置和部署工具，如Terraform、CI/CD等，以提高云资源部署的效率和准确性。 未进行切换演练 该反模式是企业未进
设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
云卓越中心简介 如上述所，企业云化转型是一项复杂和系统的工程，需要组建一个云卓越中心（CCoE）来领导、协调和推进整个云化转型项目。CCoE是企业内部为云化转型专门成立的中心化团队，全程负责整个云化旅程，包括制定战略、顶层规划、调研评估、方案设计、采用实施和运维治理，其目标是通过
图所示。在这种运营模式中，所有业务系统都由专门的应用团队独立运营，应用团队不仅负责应用的设计、开发、测试、部署和运维工作，还需要负责业务系统所需IaaS和PaaS资源的部署和运维，同时要确保业务系统的安全性和云资源的成本管理。中心IT团队仅负责制定统一IT标准和IT流程，通过发文
和安全性、造成不必要的成本浪费、增加维护难度，甚至导致项目的失败。以下是一些常见的上云方案设计时的反模式。 资源配置不合理 目标架构设计时，未根据业务负载需求合理配置资源，导致资源过度分配或不足，从而增加成本或影响性能。 优化建议：根据业务需求和应用特点，选择合适的云资源规格，可
地理冗余：将不同的AZ部署在不同的地理位置，可以防止地区范围的故障，例如自然灾害或电力中断对整个系统的影响。 企业可以基于AZ故障域进行应用的高可用性署设计，设计时可以考虑如下方面： 跨AZ部署：将应用程序的不同组件部署在多个AZ中，以确保即使一个AZ不可用，其他AZ中部署的组件仍能正常
成本和可运维性遵循基础环境的设计进行适配即可。 大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构
大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。
数据和信息。 一种常见的调研方式是通过企业内部的IT系统导出信息，例如配置管理数据库（CMDB）、云管理平台（CMP）、虚拟化管理软件等。这些系统可以提供有关硬件设备、网络拓扑、操作系统、应用程序以及相关配置和版本的信息，帮助调研人员了解企业的IT基础架构。 此外，问卷调查和访谈
应用层：容器化部署，业务节点跨AZ分布。即使某AZ异常，Apisix可以将流量转发到正常应用后端。 中间件层：Kafka、Solr和ES采用3AZ集群部署，任意一个AZ故障，服务仍然可用；Redis采用双AZ主备节点部署。 数据层：MySQL数据库采用双AZ主备部署实现HA；Mo
义容器镜像的构建过程，包括依赖安装、配置和启动命令。 容器编排与管理：如果需要管理多个容器实例、自动扩展和负载均衡等功能，可以使用容器编排工具，如Kubernetes。通过编写配置文件或使用命令行工具，定义容器的部署和运行方式。 网络和存储配置：配置容器之间的网络通信和访问外部资
大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。 分批迁移的
由CCoE团队负责集中部署和运维，所以CCoE团队更容易识别出各个业务系统所需要的公共资源，进而集中部署和管理这些公共资源，同时也需要通过集中化的手段统一管理所有业务单元下的云资源，并进行集中的安全运营和成本管理。应用团队完全不用关心基础设施和云资源的部署和管理，可以将主要精力放
如，使用持续集成和持续交付（CI/CD）工具来自动构建、测试和部署应用程序。 基础设施即代码（IaC）：采用基础设施即代码的方法可以将基础设施配置和管理纳入代码库中。这样可以确保基础设施的可重复性、版本控制和自动化部署，从而提高整个环境的稳定性和可靠性。 集中日志和监控：通过集中
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
