检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
区块链 区块链是一种去中心化、分布式的账本技术，可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面： 透明度和可信度：区块链技术通过去中心化的特点，确保所有交易和数据记录被公开透明地存储，并且无法篡改。这为企业创造了更高的数据可信度和
中管理： 集中网络管理：中心IT部门统一规划、部署和维护企业在云上的网络基础设施，包括专线、企业路由器、VPN、云连接、NAT网关、VPC等。这样可以确保整个企业的网络架构统一、稳定、安全，避免各业务单元自行管理网络所带来的不一致性和潜在的安全漏洞。同时，统一的网络管理还能提高数
数据验证 数据验证标准 迁移完成后，需要对源端和目的端数据做一致性比对，对于数据一致性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整：
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
切换 大数据的切换主要是指大数据应用的切换，其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。
境构建好以后，上云工作才能正式开始。基础环境在业界也叫做LandingZone（着陆区），基础环境设计包括6个方面，即账号和权限设计、整体网络设计、整体安全设计、资源治理设计、运维监控设计、财务管理设计。 应用部署架构设计：应用部署架构是应用在云上的技术架构，应用部署架构要从接入
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服务器、存储、网络等关键指标，并确保日志记录和错误报警机制正常运行。 安全检查和漏洞修复：进行安全检查，查找可能存在的漏洞或弱点，并采取适当的补救措施来加强
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
、集中网络管理、共享服务管理、统一安全管理、统一合规审计、统一运维管理、统一财务管理和数据边界总共9个领域。 图1 Landing Zone解决方案参考架构 这九大领域的实施需要在特定的账号内完成，比如组织与账号管理是在主账号（管理账号）中完成，而集中网络管理主要是在网络运营账号中完成。下表是九大领域对应的主要账号。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
治理角度，不能让每个账号成为“信息孤岛”，必须在公司范围内进行统一IT管控，比如多账号的集中身份权限管理、集中运维管理、集中安全管控、集中网络管理、集中财务管理和公共资源管理等。针对这些核心诉求，华为云提出了Landing Zone解决方案来帮助企业在云上构建安全合规、易扩展的多
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
计的软件系统，以支撑组织内特定的业务流程和业务场景，如ERP、CRM、营销管理系统等。业务系统的开发、测试和运行需要消耗一定的计算、存储、网络、安全、数据库、中间件、大数据、AI服务等资源。大型业务系统能够包含多个子系统。 IT管理系统：为了支撑业务系统的长期安全稳定运行所建立的
确认，并由业务部门负责最终输出业务验收指标。任何项目的执行都离不开人，所以准备阶段必须组建一个项目团队，也就是前面提到的CCoE团队，具体如何筹备和组建CCoE团队，请查看章节 云卓越中心 的内容。 在完成上述项目准备工作之后，需要举行正式的项目启动会。项目启动会的目的是将云化转
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
