检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换的3个切换点，以便更好的指导大数据应用的切换。 双跑场景：大数据应用分别在源环境和目标环境各部署一套，实现双跑，切换点在域名，业务切换时只需要进行域名的切换，将业务流量切换到新应用。 图1 双跑场景 推数场景：适用于数据源主动向应用推数的场景，切换点在数据源，需要停止旧数据源
数据一致性对比、停止同步任务 修改数据层的DNS内网域名解析 7.1 修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1
1~5 1、通过API接口调用或脚本批量操作，减少操作时间 最后一次增量同步 1~10 1、在业务低峰进行切换，减少增量数据 数据库开启写 1 1、脚本开启 应用层停服（关停应用） 1~30 1、提前关停非核心业务，减少操作量 2、统一运维批量关停，减少操作时间 3、统一日志平台，减少应用日志检查时间
/数据层，实现双写。注意：双写的数据一致性由应用逻辑保障； 实时对比源端和目标端数据一致性； 历史数据迁移至华为云数据层； 修改外部DNS域名解析地址，将外部流量从源端切换到华为云。 图1 不停服切换方案 父主题： 设计切换方案
干网实现降低时延的效果。 低并发、大流量基础四/七层负载分发场景建议选择共享型ELB并开启性能保障模式（支持5万并发），购买两个实例、通过域名解析分流可获得更大的并发支持。 超过10万并发、要求全链路HTTPS或高级转发策略支持的场景，建议选择独享型ELB。 ECS需要访问公网时
python脚本 根据DRS任务的ID，调用接口批量执行对比任务，对比结果输出到xlsx文件中。相比于工具，可批量执行，执行效率较高。 库和表级行数对比 DRS工具 对比表的行数是否一致，只查询表的行数，对比速度较快 python脚本 批量脚本，创建N个并发任务线程，遍历所有表进行逐
调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求划分它们的功能，如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围，以及它们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件，例如实时数据可能使用Apache
资源。 流量型资源的公共成本按用量拆分：使用成本中心的共同成本分拆能力，可将CDN、Live等团队共享使用的云资源成本，按照实际用量分摊到域名或IP。 容器集群成本拆分：华为云提供CCE成本洞察，开通后可将CCE集群相关的CCE集群管理费、CCE集群关联的ECS和EVS资源费用拆分到集群、命名空间和工作负载。
编写脚本或通过自动化平台对接，调用云平台的API接口，批量发放云资源，每个云服务都有对应的API接口，可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如，利用API创建云服务器，请参考这个链接。 使用华为云提供的应用编排服务RFS，对资源进行编排和批量发放，具体操作方法，请参考RFS的官网文档。
列中的消息消费情况等。 应用和定时任务的启停经常有顺序，需梳理应用和批处理任务的启停顺序，避免启动顺序不当造成业务影响。 由于公网DNS的域名解析有缓存功能，所以通常会出现虽然系统已切换到目的端，但是仍然有访问流量转发到源端的场景。所以Runbook步骤需要考虑公网DNS缓存问题
常用的数据库相关指标有： TPS/QPS：每秒处理事务数和每秒查询数，用于衡量数据库的吞吐量。 响应时间：包括平均响应时间、最小响应时间、最大响应时间、时间百分比等，其中时间百分比参考意义较大，如前95%的请求的最大响应时间。 并发量：同时处理的查询请求的数量。 成功率：指请求在一定时间内成功返回结果的比例。
准Terraform（HCL + Provider）的新一代云服务资源终态编排引擎。基于业界开放生态HCL语法模板，实现云服务资源的自动化批量构建，帮助用户高效、安全、一致创建、管理和升级云服务资源，能有效提升资源管理效率，并降低资源管理变更带来的安全风险。具体请参考华为云官网文档。
架构： 表1 应用调研表 应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图： 调研方式如下图所示： 图1
RS服务，详细操作指导请参考官网文档。 图3 Hive元数据迁移 使用BulkLoad向HBase中批量导入数据 企业经常面临向HBase中导入大量数据的情景，向HBase中批量加载数据的方式有很多种，最直接方式是调用HBase的API使用put方法插入数据；另外一种是用MapR
规模效应: 云计算本质上是规模经济，云服务商建设和运营超大规模的数据中心，具备超大的计算能力和存储容量。由于规模庞大，云服务商可以通过批量采购硬件和软件、优化资源利用率、提升能源利用效率和自动化管理等方式大幅降低运营成本，以更低的成本对外提供IT资源。 降低运维成本: 云服务商负责IT
EIP不涉及到迁移，EIP通常需要在目标端华为云环境中重新购买，如果EIP需要对华为云以外的地方提供服务，那么该EIP需要在当地信管局进行服务域名和对应EIP的备案，备案通过后，方可对外提供服务。EIP购买和使用方法，请参照华为云弹性公网IP服务。 备案是中国大陆的一项法规，使用大陆
复杂的计算和分析任务。 数据查询和分析： 对于大量的存储在大数据平台中的数据，需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎（如Hive）或分布式数据库（如Elasticsearch）等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化，以提供数据洞见和决策支持。
Service，IMS）的导入功能，通过已有的云服务器或使用外部镜像文件创建私有镜像，将已有的业务云镜像导入到云平台，方便企业业务迁移与业务的批量部署，实现业务上云或云上迁移。 图2 镜像导出导入方案 在源端与目标端无法通过网络使用SMS主机迁移服务进行整机迁移时，可以使用IMS镜像
到华为云。 方案2：在华为云ECS重新部署Kong/Zuul网关，然后拷贝源端配置文件到华为云ECS，并修改转发策略 DNS域名解析 解析应用的内外部域名 方案1：使用华为云平台的DNS服务替代源端的DNS，并重新配置DNS解析地址。 方案2：在华为云的ECS上部署DNS服务，并重新配置DNS解析地址。
、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要为业务提供即时数据支撑，包含数据查询、计算、分析、修改等操作。业务连续性高的业务，很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时，需要结合业务连续性、迁移网络、
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
