检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务,对比结果输出到xlsx文件中。相比于工具可批量执行,执行效率较高。 库和表级对象对比 DRS工具 对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 python脚本 根据DRS任务的ID,调用接口批量执行对比任务,对比结果输出到xlsx文件中。相比于工具,可批量执行,执行效率较高。
分别与业态沟通停机影响和应对方案 是 否 运维团队 对于第三方调用固定IP地址的情况,确认配置修改详细步骤 是 否 环境清单核对 确定发版暂停的截至日期 研发团队 确定发版暂停的截至日期 是 否 应用清单检查并刷新启停脚本 研发团队 研发人员Check上云应用清单 是 否 JOB清单检查并刷新脚本 研发团队
业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或
Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。详细信息请参考官网文档。 数据接入服务(Data Ingestion Service,简称DIS) 处理或分析流数据的自定义应用程序
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
大数据三类数据的迁移方式 数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
AZ整体宕机情况,确保集群始终有一份完整的副本确保数据高可用。 图6 中间件层Sorl高可用设计示例 数据层- MySQL高可用 主备实例跨AZ部署,借助原生MySQL主从复制同步能力实现主备间数据同步。 主备实例以VIP对外提供服务,自身IP不对租户开放。 主备秒级切换,主备切
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
维等工具,减轻运维人员的工作负担,提高运维效率。自动化运维还降低了人为错误的风险,从而减少了不必要的纠错工作。 无服务器架构:如果企业采用函数计算等Serverless服务,企业只需编写业务逻辑代码,无需管理任何服务器,将进一步减轻运维负担。 提升性能效率 提升性能效率的目标是用
ac/am系列 高性能计算服务 转码服务 c/m系列 中间件层 自建中间件 自建Redis/RocketMQ c/m系列 数据层 自建数据库 自建MySQL/Oracle c/m系列 父主题: 云服务选型
核对参与切换人员,并通知,包括内部人员和第三方配合人员通知和时间核对。 建立切换保障群,切换期间在保障群里进行切换相关公告和通知。 确定切换的具体日期、入场签到时间、操作开始时间。 切换场地的准备,如预约会议室,准备相关的物料(电脑、插排、投屏等)。 工具、终端和登陆平台准备,切换涉及的
优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。 掌握数据库性能优化技术(如索引优化、分库分表)。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
大数据参考架构 下图是典型的大数据架构,从数据集成、存储、计算、调度、查询和应用,构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是
存放的是二进制数据,无法直接存放文件,如果需存放要先格式化文件系统 存放的是文件,会以文件和文件夹的层次结构来整理和呈现 存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据 访问方式 只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统(OS层,不涉及应用改造)
迁移组:是一组具有依赖关系(含环境依赖)的应用程序和基础架构的集合,包括APP、主机、存储、数据库、中间件。 迁移批次:是指一组具有相同的预期开始日期和结束日期的一个或多个迁移组的组合,一个迁移批次可能含有多个迁移组。 迁移优先级:是指应用程序的迁移顺序。 迁移批次规划:包括迁移分组、分批的信
导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多
标签最佳实践 标签设计原则 为华为云资源设计标签时,我们提供以下建议: 请勿在标签中存储用户身份信息或其他敏感信息。 对标签区分大小写格式,并跨所有资源类型一致地应用该格式。 虽然标签有长度规格上限,但尽量不要每个标签都达到标签规格上限,标签长度能标明含义即可。 提前识别标签的应
集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息