检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Runbook操作步骤设计 Runbook中的每一步操作，都有明确的操作步骤、操作命令/脚本、串/并行标记、操作人、确认人、预估开始时间、结束时间、预估执行时长。切换方案不同，对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。
HBase自带的一些机制和工具命令也可以实现数据搬迁，例如：通过导出Snapshots快照、Export/Import、CopyTable方式等，可以参考Apache官网相关内容。也可以使用华为云CDM云迁移服务进行HBase数据搬迁，详细操作指导请参考官网文档。
Redis数据迁移服务：用于自建Redis或其它云Redis服务（要求源端Redis已放通SYNC和PSYNC命令）向华为云上Redis（DCS服务或自建Redis）数据迁移，具体使用方法请查看DCS数据迁移帮助文档。
中间件数据一致性验证的方法如下表所示： 表3 中间件一致性对比方式 对比项 工具 描述 Keys数量对比 redis-cli 通过redis-cli命令info keyspace查看keys参数和expires参数的值，对比源Redis和目标Redis的keys参数分别减去expires
Runbook要细化到每个执行命令，尽量脚本化或工具化，操作人直接执行即可，不需要现场临时定制，避免出现人为事故。 Runbook步骤中有并行操作和串行操作，要标记好串并行顺序，避免人为操作不当影响切换时长和切换结果。
环境等无异常（DBA单独一根网线，提前准备好大交换机） 是 否 测试客户端检查 测试团队 测试人员清理客户端以及浏览器缓存 是 否 Runbook切换操作 完成切换前准备和检查后，企业就可以按照Runbook中的计划和步骤进行正式切换了，每个任务都要严格按照Runbook中的操作命令进行操作
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、Spark
DCS数据查询对比两端数据 使用redis查询命令：info keyspace 在线迁移 在线迁移不光可以迁移全量数据，还可以实时同步迁移过程中的增量数据，但是这种迁移方法，需要源端与华为云目标端之间内网互通，而且源端Redis未禁用SYNC和PSYNC命令。
云运维团队 云运维团队负责云基础设施的日常管理与维护，确保云基础设施的高可用性、高安全和高性能，协同应用运维管理员保障云上业务系统的长期安全稳定运行，并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师，职责和技能要求如下表所示
图3 文件迁移方案 Rclone 是一款命令行工具，支持在不同对象存储、网盘间同步、上传、下载数据，Rclone工具支持自定义多线程多并发迁移任务，大大提高迁移效率，缩短迁移周期。具备数据同步、检查能力，能够将源端文件系统中的数据拷贝到目的端，完成NAS文件的迁移。
使用docker pull命令将镜像上传到华为云，具体操作方法请查看推送镜像到镜像仓库像。 父主题： 迁移
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark
设计 大数据在云上的部署架构设计请参考大数据架构设计，本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据，如下表： 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据，短期内不会变化
云架构团队 云架构团队在云化转型中发挥着关键作用，参照TOGAF框架和卓越架构技术框架架（Well-Architected Framework），全面负责设计云上的技术架构和数据架构，协同应用架构师基于云技术和云服务设计业务系统的云上应用架构，帮助企业在云上构建高安全、高可用、高性能且成本优化的云基础设施和应用系统
Web应用防火墙服务 Web应用防火墙（Web Application Firewall，WAF），通过对HTTP(S)请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要为业务提供即时数据支撑
应用部署架构示例 下图是音频类应用的云上部署设计参考架构： 图1 应用部署架构设计示例 设计要点： 用户接入采用多线路动态BGP，实现公网访问线路的自动容错，可靠性高； 华为云ELB采用集群跨可用区高可靠部署，单数据中心机房故障对业务无影响； 应用接入层采用跨可用区集群部署，单可用区的故障不会影响到全局业务
使用Dockerfile定义容器镜像的构建过程，包括依赖安装、配置和启动命令。 容器编排与管理：如果需要管理多个容器实例、自动扩展和负载均衡等功能，可以使用容器编排工具，如Kubernetes。通过编写配置文件或使用命令行工具，定义容器的部署和运行方式。
跨AZ高可用设计示例 跨AZ高可用是IDC上云最主要的价值之一。企业上云后最适合做跨AZ高可用，不仅成本低，而且很便利。下面以某大型零售电商平台为例，介绍上云后的跨AZ高可用设计方法。下图是总体架构图： 图1 高可用设计示例 接入层：Apisix双AZ均衡分布，当某个AZ出现故障时
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
