检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数据的分析
数据验证 数据验证标准 迁移完成后，需要对源端和目的端数据做一致性比对，对于数据一致性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整
云架构团队 云架构团队在云化转型中发挥着关键作用，参照TOGAF框架和卓越架构技术框架架（Well-Architected Framework），全面负责设计云上的技术架构和数据架构，协同应用架构师基于云技术和云服务设计业务系统的云上应用架构，帮助企业在云上构建高安全、高可用、高性能且成本优化的云基础设施和应用系统
云实施团队 云实施团队负责将企业内各个业务系统迁移或者直接部署到云上，这要求对企业现有的IT基础设施和业务系统进行详细的调研和评估，设计并实施技术方案。技术方案的设计由云架构团队负责，交给云实施团队负责方案实施，云实施团队通常包含调研评估工程师、迁移实施工程师，职责和技能要求如下表所示
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用
是否完成 计划完成时间 责任人 组织和保障准备 - 项目经理 - 是 - - - - 项目经理 - 是 - - - 第三方/业态 - 业务相关 - 是 - - - 环境清单核对 应用清单检查并刷新启停 研发相关 - 是 - - - - 研发相关 - 是 - - - 环境（源端、目的端
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
为避免云资源的实际操作人员乱打标签，您可以通过华为云提供的标签策略强制执行标签命名规范。 激活成本标签 使用标签按各种维度（例如用途、环境、部门等）对云资源进行成本分类之前，需要先进行成本标签激活，具体步骤请参考官网文档。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark
目的端检查：通知云厂家进行资源日常状态的巡检和高可用性检查。另外目的端切换后就是正式生产环境，要确保告警、监控、日志、安全策略均已完成配置并做最后一次检查和确认。
在云环境中，您可以考虑使用托管的数据库服务，如华为云RDS、GaussDB等。另外，还需要考虑如何处理跨多个微服务的数据事务和数据一致性问题。一种常见的方法是使用分布式事务管理器（如Saga模式），以保证微服务之间的数据操作具有一致性和原子性。
云项目经理 云项目经理在指导委员会的授权下，负责领导和管理整个云化转型项目，确保项目在预算内按时完成，并符合质量标准。其主要职责包括： 项目计划与目标设定: 制定云化转型的整体计划，包括项目范围、目标、时间计划、预算和验收要求等。 项目执行与进度管理: 监督项目的执行过程，确保各阶段任务按计划完成
云运维团队 云运维团队负责云基础设施的日常管理与维护，确保云基础设施的高可用性、高安全和高性能，协同应用运维管理员保障云上业务系统的长期安全稳定运行，并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师，职责和技能要求如下表所示
制定云化目标 云化目标一定要与组织的业务战略和业务目标对齐，而且云化目标要符合SMART原则，即目标应是具体的（Specific）、可衡量的（Measurable）、可实现的（Achievable）、相关的（Relevant）和有时限的（Time-bound）。例如，如果组织经常因为业务系统中断导致收入减少和品牌受损
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
