检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
应用层先做读写分离改造,然后停止写服务,读不停 应用层修改代码,拆分读写服务 应用层服务没有读写分离的场景 复杂 大 中间件层/数据层直接回收写权限 中间件层/数据层设置业务账号只读,收回写权限 直接回收写权限,业务系统会报错,需要做相关轻微改造处理这些报错 简单 轻微改造 网关拦截 服务网关(Gateke
列等进行交互,并确保数据持久性和可靠性。 安全性和监控:确保容器化环境的安全性,例如限制容器的权限、使用安全的镜像源、进行漏洞扫描等。同时设置监控系统,以便实时监测容器的性能和运行状态。 测试和部署:在容器化改造完成后,进行全面的测试,包括单元测试、集成测试和性能测试。确保应用程
洞见和决策支持。 任务调度: 大数据平台通常需要处理复杂的数据作业。任务调度系统(如Azkaban等)用于管理和调度各种数据处理作业,可以设置作业的依赖关系、调度频率、重试策略等,以确保作业的顺利执行和任务的准时完成。 数据应用: 大数据平台的最终目的是为业务提供有价值的数据应用
业务受到影响。设计切换方案时,对于不同的业务场景和停服要求,会面临多种方案的选择,下面详细介绍如何合适的切换方案。 业务系统从源端切换到目的端,切换方案可以分为3类,即停服切换、停写不停读切换和不停服切换。每类切换方案优缺点具体如下表: 表1 切换方案比较 切换类型 方案说明 数据一致性风险