检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。当前企业业务中承载非结构化数据的存储方式主要为文件存储和对象存储。 NAS迁移方案 表5 NAS迁移方案 迁移方案 迁移方式 特点
核对参与切换人员,并通知,包括内部人员和第三方配合人员通知和时间核对。 建立切换保障群,切换期间在保障群里进行切换相关公告和通知。 确定切换的具体日期、入场签到时间、操作开始时间。 切换场地的准备,如预约会议室,准备相关的物料(电脑、插排、投屏等)。 工具、终端和登陆平台准备,切换涉及的人员需提前检查使用的工具
Runbook操作步骤设计 Runbook中的每一步操作,都有明确的操作步骤、操作命令/脚本、串/并行标记、操作人、确认人、预估开始时间、结束时间、预估执行时长。切换方案不同,对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。不停服切换方案对应用架构的要求
建议进行表级的的行数对比,抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据,这三种数据的一致性验证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条
对象存储适用于存储非结构化的数据,我们日常生活中见到的文档、文本、图片、XML、HTML、各类报表、音视频信息等等都是非结构化数据。不同的量级对应了不同的迁移方式,如下图所示: 图1 对象存储迁移方案 表1 三种对象存储迁移方式说明 对象存储 迁移方式 适用场景 备注 对象存储迁移 OBS客户端拷贝
此外,还可能包含的项,例如:实际开始时间、实际结束时间、实际耗时等条目。 表2设置样例,具体表格内容请参考实际业务情况后填写。 表2 Runbook操作步骤参考样例 序号 任务 步骤顺序 子任务 步骤 详细操作指导 决策 详细清单 操作人 确认人 计划开始时间 计划结束时间 1 XXX
nbook准备和检查步骤会有所不同,下面步骤仅供参考: 表1 切换前准备和检查项 大类 前置工作项 责任部门 活动 是否涉及 是否完成 组织和保障准备 确定停机切换窗口 企业项目经理 确定停机切换窗口为:X月X日X时X分开始 是 是 确认停机公告图片和话术 企业项目经理 确认停机公告图片和话术已更新为最新版本
网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多HDFS子目录,如果不依赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务(CDM)可以
、以及基于AI向量的多条件检索、统计、报表。Elasticsearch是一个搜索引擎,可以实现单机和集群部署,并提供托管的分布式搜索引擎服务。在ELK整个生态中,Elasticsearch集群支持结构化、非结构化文本的多条件检索、统计、报表。详细信息请参考官网文档。 数据仓库GaussDB(DWS)
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示。 表1 云运维团队的角色和职责 角色 职责 技能要求 来源 云基础设施管理员 负责云平台上存储、虚拟机、操作系统等基础设施的日常运维管理。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
持续集成与交付:建立持续集成与交付(CI/CD)流程,以便能够快速、可靠地构建、测试和部署新版本的容器化应用程序。 容器化改造是一个复杂的过程,需要仔细规划和评估。在开始之前,建议深入了解容器化技术和所选平台,并根据具体情况选择合适的工具和方法。 父主题: 应用现代化
生产站点全体故障时,切换数据库的主备状态,然后将 DNS 授权修改为容灾站点(生产站点 0%,容灾站点为 100%)。 生产站点修复后,数据库切换回主库,DNS 切换回主站点(生产站点 100%,容灾站点为 0%)。 为提高容灾中心利用率,可将只读和数据分析业务放到容灾站点。 高可用容灾能
因此在数据迁移实施前,企业需要确定不同数据的校验标准,可以参考如下模板: 表3 数据类型和校验标准 数据类型 校验标准 详细表名 X类数据 100%一致 A表、B表、C表… Y类数据 误差小于0.01% D表、E表、F表… … 自定义标准 … 设计任务迁移方案 大数据的任务包括三类:Ja
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用
切换演练 在功能测试和性能测试完成之后,如果云端应用程序和服务运行稳定,就可以开始进行业务切换了。 业务切换是将业务从源端旧系统切换到云上新系统的过程,需要仔细规划和协调,以确保切换过程中不会影响数据的完整以及业务运行。 一般情况下,业务切换需要进行一定的时间,逐步切换流量,同时
数据库层:华为云RDS数据库可平滑扩展只读数据库的实例,应对大量数据读的场景;配套DDM实现多套实例水平扩容,将大表的数据做水平拆分,均匀拆分到多个数据库实例中,从而提升数据库的容量和性能。此外华为云自研GaussDB数据库采用存算分离架构,支持分钟级的横向扩展能力,减少业务中断时间。 父主题: 可扩展性设计
迁移组:是一组具有依赖关系(含环境依赖)的应用程序和基础架构的集合,包括APP、主机、存储、数据库、中间件。 迁移批次:是指一组具有相同的预期开始日期和结束日期的一个或多个迁移组的组合,一个迁移批次可能含有多个迁移组。 迁移优先级:是指应用程序的迁移顺序。 迁移批次规划:包括迁移分组
表格具体内容请按业务实际情况进行补充。 表3 数据库信息调研表 应用名称 区域 实例名称 架构类型 IP地址:端口 版本 实例规格 CPU 内存 存储类型 磁盘容量 此处仅给出表头信息作为参考。 表格具体内容请按业务实际情况进行补充。 表4 中间件信息调研表 应用名称 区域 名称 版本 连接地址 规格