检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Virtual Private Network 虚拟专用网络 WAF Well-Architected Framework 卓越架构技术框架 WAF Web Application Firewall Web应用防火墙 父主题： 云采用框架简介
Framework，简称WAF）设计Landing Zone、安全架构和平台工程。在流程层面需要根据组织的IT运营模式设计最佳的云运营模式，并基于云运营模式制定应用生命周期管理流程，最大化云计算带来的业务价值。 调研评估：针对组织的IT基础设施、应用系统和大数据平台进行现状调研，包括
应用架构。WAF也是 Web Application Firewall（Web应用防火墙）的缩写，读者需要结合上下文判断WAF的具体意思。 IT基础设施 是指一个平台化的IT支撑环境，用于支撑组织内所有应用系统的安全稳定运行。它向下抽象、管理和优化底层IT资源（例如数据中心、硬件
实现对云环境的全面掌控，最大化云化转型的收益。 运维治理阶段需要针对云上IT基础设施、应用系统和大数据平台进行精益化治理、确定性运维、全方位安全运营和精细化FinOps，并基于WAF框架进行持续优化。首先，精益化治理贯穿始终，它提供了一套标准化治理框架和最佳治理实践，确保云资源得
网：应用子网和数据子网，分别对应业务系统的应用层和数据层。子网之间使用网络ACL进行访问控制，还可以将云主机、RDS等资源放入到安全组，通过安全组规则进行实例级别的访问控制。业务系统的应用服务器集群可以跨可用区部署，实现应用层的高可用；再使用华为云跨可用区的主备数据库集群和缓存集群实现数据层的高可用。如下图所示：
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
运维监控账号的Tenant Administrator权限 所有其他账号下的运维服务COC的管理权限 数据管理组 集中部署和管理企业数据平台，将其他成员账号的业务数据统一采集到数据平台进行存储、处理和分析 数据平台账号的Tenant Administrator权限 公共服务管理组 集中部署和管理
整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。
运营账号的DSC服务可以对所有成员账号进行统一的数据安全防护，包括针对所有成员账号的统一数据安全风险识别和统一数据保护（数据水印、数据脱敏）。安全运营账号的DBSS服务可以基于Agent采集模式，在网络可达的前提下，实现跨账号的数据库审计和统一信息展现。安全运营账号的CCM服务可
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS，详细操作指导请参考官网文档。
推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源推数，配置并启动新数据源向应用推数，将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
置管理等基础性工作。 数据防线 要做好数据资产的主动发现和分类分级，围绕数据全生命周期开展数据安全治理工作，对重要数据使用过程中考虑脱敏、加密、审计等措施，对重要数据做好备份。基于身份控制策略、网络控制策略和资源控制策略构筑坚固的数据安全边界，保障敏感数据不泄露。 运维防线 要限
迁移时，和关键人员及时沟通。 任务依赖关系 识别关键任务，识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
级保护）和敏感数据的分类分级设计成本可接受的安全防护方案，不应盲目针对所有的业务系统和数据都采用全方位和高级别的安全防护方案。 云原生安全防护（Cloud Native Security） 云服务商提供了丰富的云原生安全服务（比如WAF、Anti-DDoS、云防火墙、秘钥管理等）
主机迁移是典型的Rehost迁移方式，虽然主机（服务器）上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等，但由于数据库/中间件/大数据等应用是以数据为核心，对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移，这里讲的主机迁移对应的迁移层级为应用和操作系统。主机迁移的方式主要有以下三种：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
