检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据验证 数据验证标准 迁移完成后，需要对源端和目的端数据做一致性比对，对于数据一致性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整：
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
数据层迁移实施 对象存储迁移 对象存储适用于存储非结构化的数据，我们日常生活中见到的文档、文本、图片、XML、HTML、各类报表、音视频信息等等都是非结构化数据。不同的量级对应了不同的迁移方式，如下图所示： 图1 对象存储迁移方案 表1 三种对象存储迁移方式说明 对象存储 迁移方式
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
FinOps团队 FinOps团队的主要职责是通过成本生命周期管理和持续成本运营，推动团队在预算内高效使用云资源，不断提升云资源的成本效益，实现业务价值最大化。FinOps团队通常包含FinOps教练、云成本运营工程师，职责和技能要求如下表所示。 表1 FinOps团队的角色和职责
云治理团队 云治理团队的职责是识别企业云化转型过程中的各种风险，并制定和实施有效的治理框架、策略和流程，目的是将企业云化转型的风险最小化，并最大化业务收益。云治理团队通常包含云治理专家、审计师和云培训师，职责和技能要求如下表所示。 表1 云治理团队的角色和职责 角色 职责 技能要求
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
云运维团队 云运维团队负责云基础设施的日常管理与维护，确保云基础设施的高可用性、高安全和高性能，协同应用运维管理员保障云上业务系统的长期安全稳定运行，并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师，职责和技能要求如下表所示。
云架构团队 云架构团队在云化转型中发挥着关键作用，参照TOGAF框架和卓越架构技术框架架（Well-Architected Framework），全面负责设计云上的技术架构和数据架构，协同应用架构师基于云技术和云服务设计业务系统的云上应用架构，帮助企业在云上构建高安全、高可用、高
云实施团队 云实施团队负责将企业内各个业务系统迁移或者直接部署到云上，这要求对企业现有的IT基础设施和业务系统进行详细的调研和评估，设计并实施技术方案。技术方案的设计由云架构团队负责，交给云实施团队负责方案实施，云实施团队通常包含调研评估工程师、迁移实施工程师，职责和技能要求如下
指导委员会 指导委员会负责为云化转型项目提供建议、战略指导和决策支持，在云化转型中扮演着至关重要的作用。指导委员会的成员应该由云化转型的重要干系人（CEO、CIO、CTO、CFO、CISO、业务主管等）指定和委派，至少应该包含业务主管、IT主管、财务主管和人力资源主管。指导委员会
云安全团队 云安全团队负责云基础设施和云上业务系统的安全保障工作，主要职责包括云平台安全方案设计、访问控制与权限管理、安全监控与威胁检测、漏洞扫描与修复、数据加密与隐私保护、合规性审查与风险评估，以及应急响应与安全事件处理，确保云上业务系统的安全性、合规性和稳定性。云安全团队通常
云项目经理 云项目经理在指导委员会的授权下，负责领导和管理整个云化转型项目，确保项目在预算内按时完成，并符合质量标准。其主要职责包括： 项目计划与目标设定: 制定云化转型的整体计划，包括项目范围、目标、时间计划、预算和验收要求等。 项目执行与进度管理: 监督项目的执行过程，确保各
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
