检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移流程每个阶段概述如下： 调研：调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计：设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署：部署大数据平台，包括集群部署和任务调度平台部署。 迁移：实施数据迁移和任务迁移。 验证：进行数据校验和任务验证。
与沟通。 云服务商顾问：来自选定的云服务商或专业服务公司，提供基于最佳实践的上云方案建议，协助企业量身定制上云方案，包括技术实施细节、最佳实践分享等。 方案设计团队的组建模式同样分为两种场景，在企业自主主导上云方案设计的场景下，上述角色主要由企业内部人员担任，云服务商提供咨询和技
的实际操作，企业可以更好地理解云服务的费用结构、资源消耗情况以及可能的隐藏成本，这有助于避免意外的成本增加并优化资源利用，以实现成本控制的目标。 团队磨合：上云迁移的成功离不开各参与方的高效协同（运维团队、开发团队、测试团队，云服务供应商、第三方系统供应商等），上云迁移试点为不同
容器化改造是将传统应用程序或服务迁移至容器化环境的过程，以下是进行容器化改造的一般步骤： 评估和规划：首先，评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化，并制定一个改造计划。 容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。
云计算的价值。 首先，由于云平台已经搭建了统一的资源池，并提供了应用系统所需要的IaaS和PaaS云服务，所以应用系统的建设过程中不再需要独立采购硬件设备和基础软件（操作系统、虚拟化软件等），您只需要按需购买和开通云平台提供的IaaS和PaaS云服务就可以即时搭建出来应用系统所需
优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应
数据量较大，增量少的TB级数据 - OMS工具+回源迁移：对象存储迁移服务OMS作为易用、高效的线上数据迁移服务，通过调用源端对象存储的SDK，可快速传输数据并对数据进行加密存储，将数据复制到华为云OBS，可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松、平滑地迁移到华为云。通过第一次全量
多个独立的云平台上，实现跨云容灾，避免单一云平台故障带来的业务中断。即使一个云平台出现问题，其他云平台上的业务仍然可以正常运行，保障业务连续性。 避免厂商锁定：将所有业务都放在一个云服务商的云平台里会造成厂商锁定，使企业在未来的谈判中处于劣势，并且难以迁移到其他平台。多云战略可以
ketMQ、IBMMQ等，消息中间件在迁移项目中，通常使用策略切换的方案来进行迁移。 图3 消息中间件迁移方案 迁移步骤如下： 中断企业应用和生产消息的相关业务，直到消费组中的消息消费完毕 待消息消费完毕，停止消费相关业务 启动华为云的生产消息和消费消息的业务，接入客户流量，观察业务是否正常
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
手工或自动化的方式进一步设置Landing Zone。 使用华为云提供的资源编排服务RFS或第三方自动化工具（如Terraform等）实现Landing Zone的自动化部署和管理。华为云资源编排服务（Resource Formation Service，简称RFS）是完全支持业界事实标准Terraform（HCL
在上云迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 云平台监控：确保建立有效的监控系统，跟踪云平台的性能、可用性和安全性。设置警报机制，及时发现并解决潜在的问题。 系统监控和运维：设置系统监控和告警，确保及时发现和解决潜在的问题。配置基础设施监控工具，监测服务器、存储、网络等关键指标，并确保日志记录和错误报警机制正常运行。
任务数量 调研各类任务的总数量，用于评估任务迁移周期及改造工作量。如：XX调度平台下，Jar任务XX个。 任务更新周期 识别出不同调度平台，不同任务类型的任务更新周期。如：XX调度平台XX类任务月度更新；XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息，包括
登录华为云官网，在上方导航栏选择“解决方案>通用解决方案>Haydn解决方案数字化平台”进入Haydn解决方案数字化平台首页，在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。 支持输入架构模板名称、适用行业、适用场景等关键字对架构模板进行查找； 支持按照模板类型、部署环境、适用行业、适用
大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器、网站日志、移动应用、社交媒体等各种数据源。通过数据采集和提取，将原始数据收集到大数据平台进行后续处理和分析。 数据集成： 数据集成是将来自不
切换演练 在功能测试和性能测试完成之后，如果云端应用程序和服务运行稳定，就可以开始进行业务切换了。 业务切换是将业务从源端旧系统切换到云上新系统的过程，需要仔细规划和协调，以确保切换过程中不会影响数据的完整以及业务运行。 一般情况下，业务切换需要进行一定的时间，逐步切换流量，同时
日刷新/周刷新/月刷新/实时更新 任务执行区间 让数据迁移、数据校验和业务高峰期错开。 离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取，并辅助一些调研访谈进行补充和确认。 父主题： 大数据调研
Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。HBase
方式，将实时数据上报到双跑的两个平台。 双平台同时运行 目标大数据集群、任务调度平台与原大数据集群、任务调度平台同时运行一段时间。在这段时间内，两个平台会并行处理任务，并产生相应的结果。 运行稳定性验证 在双平台同时运行期间，需要对目标大数据平台任务执行的稳定性、数据一致性进行持
中间件层：Kafka、Solr和ES采用3AZ集群部署，任意一个AZ故障，服务仍然可用；Redis采用双AZ主备节点部署。 数据层：MySQL数据库采用双AZ主备部署实现HA；MongoDB使用副本集或Cluster集群，3AZ分布，某AZ故障，其他AZ正常提供服务。 应用层-容器集群高可用 Master高可用：容器集群Master
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
