检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全方位数据边界 全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联网（不可信网络）访问云资源的请求会被拒
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
线刷新确认进展）。 引导人通常是1~2个，是整个切换的总指挥（对于大规模切换，参与人员多，操作时间长的场景，也可以设计2~3名引导人，互为备份），引导人需要对整个Runbook非常熟悉，尤其对于每个步骤执行时序，多个步骤的并行情况要熟悉。 父主题： 设计Runbook
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力，是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA（Service-Level Agreement）来衡量，各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示：
来迁移，消息中间件，一般不迁移，待消费者服务消费完通道内的消息后，整个消息中间件直接切换到华为云。 数据层：包括数据库、对象存储、文件系统，数据库一般通过华为云的数据迁移工具DRS做迁移，对象存储一般通过华为云对象存储迁移工具OMS做迁移，文件系统一般通过Rsync等迁移工具来迁移。
一个AZ受到高负载或故障影响，其他AZ也能接受并处理流量。 数据冗余和备份：在不同的AZ中实施数据冗余和备份策略，确保数据的可用性和可恢复性，即使一个AZ的数据丢失或不可用，仍能从其他AZ中的冗余数据进行恢复，确保数据的可用性和完整性。 自动故障恢复：设置自动化故障转移机制，在一
行工具，定义容器的部署和运行方式。 网络和存储配置：配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、消息队列等进行交互，并确保数据持久性和可靠性。 安全性和监控：确保容器化环境的安全性，例如限制容器的权限、使用安全的镜像源、进行漏洞扫描等。同时设置监控
或自建Redis）数据迁移，具体使用方法请查看DCS数据迁移帮助文档。 云数据迁移服务（CDM）：支持近20种常用数据源，满足数据在云上和云下的不同迁移场景。具体使用方法请查看CDM帮助文档。 对象存储迁移服务（OMS）：可以将其他云服务商对象存储服务中的数据在线迁移至华为云对象
架构优化与持续运营 FinOps专业服务结合企业业务场景，可针对业务布局、资源规划、数据存储各层次进行架构优化，如在离线业务混合部署提升资源利用率、存算分离使计算和存储各自按需使用避免绑定浪费、冷热分离降低冷数据存储成本等。 父主题： FinOps
伸缩性、响应时间、数据传输速度等因素，总结试点迁移对系统性能和用户体验的影响。 成本效益分析：分析上云迁移试点对企业成本的影响，包括成本节约、资源利用优化、维护和支持成本的变化等方面的评估。 安全和合规性评估：评估上云迁移试点的安全性和合规性，考虑迁移后的数据安全性、访问控制、合
迁移批次规划既是科学也是艺术，有些规划依据数据，有些规划只能依赖专家经验，批次规划需要做好三件事情：迁移分组、迁移分批、迁移优先级。 图1 批次规划 一、迁移分组 迁移分组主要是基于依赖关系将迁移对象进行分组，我们将一组具有强依赖关系的应用程序和基础架构的集合（包括APP、主机、存储、数据库、中间件等）放
MySQL采用主备部署方式，主备实例之间的数据实时同步，如果主实例出现故障，备实例可以快速升为主实例； Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶，应对数据误操作之后的风险； 云主机/云硬盘可通过CBR云备份服务实现整个云主机或者云硬盘的备份。 父主题： 应用部署参考架构
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全，定期进行备份和恢复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。
工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS，详细操作指导请参考官网文档。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
图1 大数据的数据迁移顺序 元数据迁移 首先，进行元数据的迁移。元数据是描述数据的数据，包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段，需要将原始数据的元数据信息导出，并在目标系统中重新建立或导入元数据，以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
开每个应用，调研详细的部署架构和组件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的，一般按照业务域->业务系统->应用模块逐层打开，如下图： 图1 应用全景图示例 应用全景的调研方法由易到难分别是： 知识库：有些企业的知识库做
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
