检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署复杂，操作繁琐 2.支持消费队列offset偏移量的同步 所有 华为云SmratConnect工具 全量+增量 1.工具界面化，操作简单 2.支持消费队列offset偏移量的同步 适用于自建kafka或云服务迁移到华为云kafka 父主题： 设计迁移方案
卓越架构设计 我们基于华为公司自身的云上架构设计经验和业界最佳实践整理了卓越架构技术框架（Well-Architected Framework，简称WAF），为架构师、软件工程师、运维工程师等技术人员提供一套云上架构设计原则和最佳实践，其目的是帮助企业在云上设计、构建和运营高韧性、高安全、高性能且成本最优的应用系统。
于这些洞察力开发出更具竞争力和创新性的产品和服务。例如，一些公司利用大数据分析医疗记录和基因组数据，提供个性化的医疗解决方案。 父主题： 云上创新
略保持对齐，确保云化转型能够实现组织的业务目标。在该阶段需要分析干系人利益、识别云化驱动力、评估云化成熟度、制定云化目标和分析云化收益，然后制定符合组织业务战略的云化转型战略。 顶层规划：云化转型是一项系统性工程，不是简单的将应用系统迁移到云上，需要基于组织的云化转型战略有针对性
迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）迁移到新的运行环境，包括集群的重新配置和数据迁移。集群迁移需
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。
数据验证 数据验证标准 迁移完成后，需要对源端和目的端数据做一致性比对，对于数据一致性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整：
单元的云资源符合国家、行业和企业自身的合规标准。这样，可以降低合规风险，避免因不合规而导致的法律责任和声誉损失。 集中身份权限管理：通过IAM身份中心提供的多账号统一身份管理与访问控制的功能，中心IT部门可以统一管理企业中使用华为云的用户，一次性配置企业的身份管理系统与华为云的单
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
安全设计原则 华为云根据自身安全实践和成功交付大量项目的经验，提炼了如下十大安全设计原则，你可以在此基础上设计企业在云上的整体安全方案。 零信任原则（Zero Trust Principle） 遵循“永不信任，始终验证”的安全理念，假设任何人或程序都不可信，无论是内部用户、外部用
OBS桶、虚拟机镜像、证书等，也可以是CodeArts等PaaS服务。然后集中部署和维护这些公共IT服务，将其共享给公司内所有业务单元。华为云提供了三种资源共享的方式。 图1 资源共享方案 基于网络的共享：通过ER或VPC Peering将账号之间的网络打通，在此基础上进行资源共
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
整体架构设计 华为云基于自身实践和大量Landing Zone项目的成功交付经验总结了如下图所示的Landing Zone解决方案整体参考架构，涵盖组织与账号管理、身份权限管理、集中网络管理、共享服务管理、统一安全管理、统一合规审计、统一运维管理、统一财务管理和数据边界总共9个领域。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有对应的
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
测试环境选择建议 优点 缺点 目标端华为云生产环境是否已上线部分应用 方案1：在目标端华为云生产环境用作测试 1.测试后直接转生产上线，节省工作量 2.各项参数在测试期间已调为最优 需做好网络隔离，有对现网影响的风险。 方案2：在目标端华为云新建一套测试环境用作测试 对现网无影响
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
