检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集
社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作，以确保数据的一致性和准确性。 数据存储： 大数据平台需要具备高效的
Migration，简称CDM） 云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。
方案设计 概述 组建方案设计团队 基础环境设计 应用架构设计 大数据架构设计 制定6R策略 设计标签方案 上云试点 批次规划 成本预算计划 方案设计的反模式
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
设计标签方案 简介 标签最佳实践 典型使用场景 父主题： 方案设计
设计迁移方案 迁移方案概述 接入层迁移方案 应用层迁移方案 中间件层迁移方案 数据层迁移方案 父主题： 应用迁移上云
调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
华为云上的绝大部分云服务都具备高可用性的方案，提供了从数据中心、硬件、数据、自助服务等多个层次的高可用性构建能力。华为云数据中心布局于全球，可以满足不同地域（Region）的资源需求，每个地域又分多个可用区（AZ），可用区之间的风火水电相互独立，可用区之间的故障相互隔离。企业可在此基础上构建如下场景的高可用体系：
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
迁移方案概述 迁移方案概述 应用上云迁移就像一次“搬家”，是围绕迁移源、迁移目标、迁移过程三要素而开展的一系列活动。 图1 应用上云迁移示意图 在进行迁移方案设计之前，先要参考第5章完成该应用的云上目标架构设计（B），然后设计从A->B的迁移方案（C）。 应用迁移方案要基于应用的
和性能。 未考虑合规性和法律要求 在设计云上部署架构时，未考虑数据存储和访问的合规性要求，可能导致法律风险和数据泄露问题。 优化建议：在设计上云方案时，确保了解相关的法律法规和合规要求，建立数据治理和安全策略，确保数据的存储、访问和处理符合当地法规。 通过识别和避免这些反模式，并
设计切换方案 如何选择停服不停服 停服切换方案 停写不停读切换方案 不停服切换方案 父主题： 应用迁移上云
Kong/Zuul网关等 微服务网关 方案1：使用SMS主机迁移工具将Kong/Zuul网关服务运行的服务器迁移到华为云。 方案2：在华为云ECS重新部署Kong/Zuul网关，然后拷贝源端配置文件到华为云ECS，并修改转发策略 DNS域名解析 解析应用的内外部域名 方案1：使用华为云平台的DNS服务替
不停服切换方案 应用层切换不停服方案 若只涉及到应用层的切换，可参考章节 停服切换方案 中提到的应用灰度切流方案，切换期间不停服。 数据层或应用整体切换不停服方案 准备工作： 华为云应用层和数据层已完成迁移； 华为云应用层和数据层已完成业务验证，可正常使用。 业务切换： 修改两边
控制台与API接口，并最终实现用户对资源的使用权限、计费与管理高效结合。关于TMS的具体功能和使用说明请参考官网文档。 父主题： 设计标签方案
图5 应用层灰度切流 接下来进行数据层分批切换，某批次数据层切换步骤如下： 停止本批次数据层相关的应用和批处理任务。本批次的数据层静止（中间件消息队列中的消息消费完成，数据库无新增数据）； 数据对比一致后，切换数据层； 修改相关的配置，启动和本批次数据层相关的应用和批处理任务。进行功能验证及保障，确保业务正常；
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
