检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行对比。 python脚本 根据DRS任务的ID,调用接口批量执行对比任务,对比结果输出到xlsx文件中。相比于工具,可批量执行,执行效率较高。 库和表级行数对比 DRS工具 对比表的行数是否一致,只查询表的行数,对比速度较快 python脚本 批量脚本,创建N个并发任务线程,
Runbook操作步骤设计 Runbook中的每一步操作,都有明确的操作步骤、操作命令/脚本、串/并行标记、操作人、确认人、预估开始时间、结束时间、预估执行时长。切换方案不同,对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。不停服切换方案对应用架构的要求
修改数据层的DNS内网域名解析 7.1 修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端
环境(源端、目的端、迁移任务、执行脚本)检查 云服务基础检查项 运维相关 - 是 - - - 数据库检查项 运维相关 - 是 - - - 运维相关 - 是 - - - 大数据检查项 大数据相关 - 是 - - - 大数据相关 - 是 - - - 应用检查 运维相关 - 是 - - - 执行脚本检查 运维相关
切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。 图1 双跑场景 推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源
清单核对完成,通知版本封版,避免正式切换时环境和准备时的不一致情况。 根据最新的应用清单和JOB任务清单,刷新Runbook中相关的切换操作脚本。 环境检查 切换前需确保源端、目的端、迁移任务状态正常,执行脚本准备就绪。 源端检查:首先,检查是云专线同步带宽是否有超带宽的告警,评估是否需要进行带宽的扩容,其次,对源
接入层迁移实施 EIP EIP不涉及到迁移,EIP通常需要在目标端华为云环境中重新购买,如果EIP需要对华为云以外的地方提供服务,那么该EIP需要在当地信管局进行服务域名和对应EIP的备案,备案通过后,方可对外提供服务。EIP购买和使用方法,请参照华为云弹性公网IP服务。 备案是中
源。 编写脚本或通过自动化平台对接,调用云平台的API接口,批量发放云资源,每个云服务都有对应的API接口,可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如,利用API创建云服务器,请参考这个链接。 使用华为云提供的应用编排服务RFS,对资源进行编排和批量发放,具体操作方法,请参考RFS的官网文档。
流量型资源的公共成本按用量拆分:使用成本中心的共同成本分拆能力,可将CDN、Live等团队共享使用的云资源成本,按照实际用量分摊到域名或IP。 容器集群成本拆分:华为云提供CCE成本洞察,开通后可将CCE集群相关的CCE集群管理费、CCE集群关联的ECS和EVS资源费用拆分到集群、命名空间和工作负载。
了有力保障。当用户的服务器遭受大流量DDoS攻击时,DDoS防护可以保护用户业务持续可用。DDoS防护通过高防IP代理源站IP对外提供服务,将恶意攻击流量引流到高防IP进行清洗,确保重要业务不被攻击中断。DDoS防护服务于华为云、非华为云及IDC的互联网主机。关于DDoS防护服务
例、通过域名解析分流可获得更大的并发支持。 超过10万并发、要求全链路HTTPS或高级转发策略支持的场景,建议选择独享型ELB。 ECS需要访问公网时,不建议直接绑定EIP,建议增加公网NAT网关统一走SNAT,便于更灵活的管控。 需要面向公网提供服务时,不建议将公网IP直接绑定
不同版本:Hive大版本不同,先平迁SQL类任务,然后根据版本语法变动,微调SQL语句以适配云上版本语法 脚本类任务 (Python、Shell) 同调度平台:平迁脚本类任务 不同调度平台:平迁脚本类任务,根据云上调度平台,对脚本进行适配改造,以适应新的调度平台运行环境 大数据任务迁移通常按照如下顺序执行:
输出目录等。 目标云平台导入脚本:上传脚本到云上调度平台,并配置脚本类调度任务。 脚本任务运行和测试:执行调度任务,并根据日志和执行结果检查脚本运行情况。 脚本任务调优:如果任务执行不符合预期,例如执行时间过长,需要查找根因并进行优化和验证。 脚本任务发布:按业务需要的时间配置调度任务,配置正确的任务依赖关系。
接入层流量入口关闭(网关/ELB) 1~5 1、通过API接口调用或脚本批量操作,减少操作时间 最后一次增量同步 1~10 1、在业务低峰进行切换,减少增量数据 数据库开启写 1 1、脚本开启 应用层停服(关停应用) 1~30 1、提前关停非核心业务,减少操作量 2、统一运维批量关停,减少操作时间 3、统一日志平台,减少应用日志检查时间
了解 DevOps 理念和实践。 具备一定的脚本编写能力。 具备良好的故障排除和问题解决能力。 IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。
华为云根据自身安全实践和成功交付大量项目的经验,提炼了如下十大安全设计原则,你可以在此基础上设计企业在云上的整体安全方案。 零信任原则(Zero Trust Principle) 遵循“永不信任,始终验证”的安全理念,假设任何人或程序都不可信,无论是内部用户、外部用户还是网络设备。系统内的组件进行任何通信之前
架构: 表1 应用调研表 应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1
/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障; 实时对比源端和目标端数据一致性; 历史数据迁移至华为云数据层; 修改外部DNS域名解析地址,将外部流量从源端切换到华为云。 图1 不停服切换方案 父主题: 设计切换方案
到华为云。 方案2:在华为云ECS重新部署Kong/Zuul网关,然后拷贝源端配置文件到华为云ECS,并修改转发策略 DNS域名解析 解析应用的内外部域名 方案1:使用华为云平台的DNS服务替代源端的DNS,并重新配置DNS解析地址。 方案2:在华为云的ECS上部署DNS服务,并重新配置DNS解析地址。
调研大数据集群数量和功能划分:例如Hadoop集群、Spark集群、Hive集群等,并根据业务需求划分它们的功能,如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围,以及它们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件,例如实时数据可能使用Apache