检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计划和步骤进行正式切换了,每个任务都要严格按照Runbook中的操作命令进行操作,不同业务系统对应的切换Runbook步骤会有不同,下面步骤仅供参考,注意步骤顺序标号一致的表示是并行执行。 如果批处理任务较多,切换时间窗有限,可根据优先级分批次进行启动。 表2 切换操作步骤样例 任务
切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。 图1 双跑场景 推数场景:适用
Runbook操作步骤设计 Runbook中的每一步操作,都有明确的操作步骤、操作命令/脚本、串/并行标记、操作人、确认人、预估开始时间、结束时间、预估执行时长。切换方案不同,对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。不停服切换方案对应用架构的要求
应用后端。 中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。
查数据层无新增; 源端数据层和华为云数据层增量同步完成,并完成数据一致性对比,断开同步链路; 华为云上的应用层和数据层内部域名等配置修改,重启华为云上的应用服务; 外部DNS域名解析,将解析地址从源端接入层切换到华为云接入层,使外部流量进入华为云; 图2 一把切方案 应用层灰度切流,数据层整体切换
业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或
导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
Runbook执行步骤要尽量细化,确保每个执行步骤对应1个操作人和1个确认人,尽量避免发生1个步骤多个人确认的场景。 Runbook要细化到每个执行命令,尽量脚本化或工具化,操作人直接执行即可,不需要现场临时定制,避免出现人为事故。 Runbook步骤中有并行操作和串行操作,
Redis跨AZ主备部署,确保跨可用区的高可靠;DMS Kafka构建跨双可用区或三可用区集群,确保消息的高可靠;CSS云搜索引擎服务可以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例;
应用架构现代化 微服务改造上云 将传统的单体应用进行微服务改造并迁移到云环境是一个复杂的过程。下面是关于如何进行微服务改造和上云的一些基本步骤和考虑事项。 评估现有应用和目标: 首先,对传统单体应用进行全面评估,了解其架构、功能和性能特点。同时,明确希望在云环境中实现的目标,例如
优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。 掌握数据库性能优化技术(如索引优化、分库分表)。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
据应用割接,业务全部切换到新大数据平台。 设计大数据双跑方案 双跑方案是一种常见的大数据迁移策略,通过双平台同时运行,持续验证数据和任务,双跑运行一段时间稳定以后,再将业务切换到新的大数据平台。如下图: 图3 大数据双跑方案 双跑方案的设计思路如下: 数据和任务迁移 在数据源接入
略强制执行标签命名规范。 激活成本标签 使用标签按各种维度(例如用途、环境、部门等)对云资源进行成本分类之前,需要先进行成本标签激活,具体步骤请参考官网文档。 成本分析和优化 激活成本标签之后,进入“成本分析”页面,通过成本标签进行成本数据汇总和过滤。CCoE团队可以查看哪些标签
到迁移指令后,会动态生成安全证书和密钥并且通过华为云OpenStack 元数据管理服务传输给目的端服务器,此后,源端服务器和目的端服务器会重启并使用新生成的动态安全证书建立安全的SSL通道。SMS主机迁移过程中,无需中断或者停止业务,只需在”持续同步”状态时,启动目的端前停止业务
应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息
Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。详细信息请参考官网文档。 数据接入服务(Data Ingestion Service,简称DIS) 处理或分析流数据的自定义应用程序
云化成熟度评估步骤 上述云化成熟度评估模型相对比较完备,完成全部评估和分析需要1周左右的时间。以下是执行云化成熟度评估的具体步骤。 定义评估范围 这是整个评估过程的基础。在这一阶段,您需要根据组织的现状和业务需求,确定需要评估的具体范围。由于云化转型涵盖多个评估维度和众多评估问题
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
节点数时会存在较多的性能浪费。 可靠性:资源选型需要考虑如何降低故障率、避免单点故障,因此建议优先选择新系列(规格中代系数字更大的),且跨双可用区均衡部署。资源选型优化降本不能以牺牲业务的可靠性为代价,集群组网中单个节点故障不应造成剩余节点超负荷。 一致性:为保证基于镜像的快速扩