检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理流程、分析模型和相关业务逻辑,以支持特定的业务需求和分析目标。大数据迁移批次规划的参考原则如下: 按主题域进行分批: 按主题域分批需要考虑2个相关性,数据相关性和任务相关性。数据相关性是指将具有相似业务逻辑、相互依赖或紧密相关的数据放在同一批次中,以确保一致性和完整性。任务相关
可快速获取现网信息 文档的及时性和完整性无法保证 4 安装工具(RDA\第三方) 客户同意安装工具agent 可较快获取详细资源清单 1.需要客户现网环境安装agent,较敏感; 2.针对数据库、中间件等获取信息较少,且无法获取应用调用关系。 5 调研访谈 客户人力和时间充足,且愿意配合
做内容对比,不同对比方式对比时长不同,需根据表的重要性和切换时长综合考虑来确定数据一致性对比方案。 源端数据静止,除了停止应用外,还要考虑批处理任务和消息队列中的消息消费情况等。 应用和定时任务的启停经常有顺序,需梳理应用和批处理任务的启停顺序,避免启动顺序不当造成业务影响。 由
都连接到db01,A 和B 每秒都会进行许多读写操作,但是C每晚在非高峰时间运行批处理作业,因此A、B和db01是紧耦合,C与db01是松耦合,A和B必须与db01一起迁移,放到同一个迁移分组,C可以单独移动,如果需要可以放到另一个迁移分组。 二、迁移分批 企业上云过程往往是分批进行的
、安全和成本产生冲突时,对现金流紧张的企业来说,就要优先考虑成本低的设计方案,在安全、韧性方面可能就会有所妥协。 与高层和干系人对齐 在确定了云化转型驱动力和优先级之后, 将云化转型驱动力和优先级、预期收益清晰地记录下来,与企业高层和干系人进行沟通和对齐,听取他们的意见和建议,获取他们的理解和支持。
评估适配改造工作量。 弹性和可扩展性:在云上部署大数据任务调度平台时,应考虑平台的弹性和可扩展性。云环境提供了弹性计算和存储资源,可以根据工作负载的需求自动调整容量。确保任务调度平台能够快速处理增加的任务负载,并支持水平扩展以满足业务需求。 高可用性和容错性:确保在云上部署的任务
对齐已有信息,避免重复调研。 对准调研目标,识别还缺哪些信息,为什么要调研这些信息,以及这些信息的获取方式。 基于企业组织架构和分工,判断能提供这些信息的干系人。 制定调研访谈提纲和调研模板,制定沟通策略和计划。 依照干系人认可的授权方式获得需要的信息,并进行信息的整理,完成调研。 图1 调研方法 调研的
等迁移到云计算平台,或者利用云计算技术对其业务模式和运营流程进行重构和优化的过程。它不仅仅是简单地将数据和应用程序迁移到云端,更是一个涉及战略、技术、组织和流程的全面转型。 云化转型的第一步是制定云化转型战略,这需要全面的规划和周密的准备。制定云化转型战略不仅涉及技术层面的考虑,
、安全性和性能。迁移实施工作属于一次性工作,经常会外包给云服务商或者云实施专业服务提供商。 云架构师:来自IT架构部门或具备深厚云技术背景的专家,负责云上架构的部署和优化,为实施团队提供技术支持和指导。 云基础设施管理员:来自IT部门的运维团队,负责管理云基础设施,建立和实施云运
需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术,调度任务类型,可视化和管理界面,扩展性和集成性,容错和故障恢复,安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,例如Azkaban等,了解它们的特点和适用场景。 调研现有
场等。用业务语言阐述云化转型的价值,避免使用纯粹的技术术语。 获得高层领导的支持和参与: 向高层领导汇报云化转型的价值和预期业务收益,争取他们的支持和资源投入。邀请高层领导参与到云化转型战略的制定和执行过程中,确保转型方向与公司整体战略一致。 云化战略只关注技术收益,忽略业务收益
行持续的观察和验证。这包括监测任务的执行情况、检查任务日志和结果的一致性等。如果发现任何问题或异常情况,需要及时处理和修复。 业务正式切换 在确认目标大数据集群和任务调度平台的运行稳定性以及数据和任务迁移的完整性和准确性后,可以进行业务的正式切换,这包括将业务流量和作业任务切换到
所有消费模式的成本和使用量。 使用成本分析确定基于趋势的预测之后,您还可以利用华为云的价格计算器,根据新业务上云或区域扩展所需的产品和使用量,自主搭配产品进行未来成本的估算。 通过预算管理,跟踪未来资源用量和费用执行 预算超支是管理云成本核心难题之一。完成组织和成本的规划后,企业
工作量。 弹性扩展和自动伸缩:设计云上的大数据集群时,应考虑集群的弹性扩展和自动伸缩能力。这意味着集群可以根据工作负载的需求自动增加或减少计算和存储资源,以提高性能、效率并节约成本。 容错和高可用性:云上部署的大数据集群应具备容错和高可用性,以保障系统的可靠性和稳定性。这可以通过
停止源端业务域1对应的应用层和批处理任务等,使其不再产生新增数据;停止和本业务域共用中间件和数据库的应用和批处理任务等,使其不再产生新增数据; 检查本批次要切换的中间件和数据层无新增数据,数据对比一致后断开同步链路; 修改目的端的相关配置;启动目标端业务域1对应的应用服务和批处理任务;启动源端和其共用中间件和数据库的应用服务和批处理任务;
调研:对应用的技术架构进行详细的调研,详细到具体的技术组件和版本信息。 设计:深度调研结果,给出云上的技术架构和规格选型,输出详细的迁移方案和切换方案。 部署:创建云上资源,上云适配改造(如涉及),并做目标环境测试。 迁移:将源端应用和数据迁移到云上目标环境。 验证:进行数据和业务验证。 切换:进行切换演练,刷新Runbook,实施正式切换。
迁移组:是一组具有依赖关系(含环境依赖)的应用程序和基础架构的集合,包括APP、主机、存储、数据库、中间件。 迁移批次:是指一组具有相同的预期开始日期和结束日期的一个或多个迁移组的组合,一个迁移批次可能含有多个迁移组。 迁移优先级:是指应用程序的迁移顺序。 迁移批次规划:包括迁移分组、分批的信息和迁移优先级的信息
在任务迁移完成后,对迁移后的大数据任务进行验证。这包括运行作业并检查作业的执行成功率。验证过程中,需要关注作业的状态、日志以及错误和异常情况。对于执行异常的任务,需要仔细检查和调试,找出问题并进行修复。 验证作业执行结果的一致性 验证大数据任务执行结果的一致性,对比新旧大数据平台的作业输出结果
在差异,多云战略可以帮助企业优化资源配置,提高成本效益。 充分利用不同厂商的优势能力:不同的云服务商在技术、服务和功能方面各有优势。例如,某个云服务商可能在人工智能和机器学习方面拥有更强的技术实力,而另一个云服务商可能在数据库服务方面更具优势。多云战略允许企业根据自身业务需求,选
华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边的配置,使源端应用层指向源端和目标端的中间件层/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障; 实时对比源端和目标端数据一致性; 历史数据迁移至华为云数据层; 修改外部DNS域名解析地址,将外部流量从源端切换到华为云。