检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多HDFS子目录,如果不依赖工具,将外部数据加载到
业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
停止源端应用服务(xxx个) 3.1 停止源端配置中心 消息队列数据迁移 4.1 消息队列MQ数据迁移 4.2 等待&确认kafka消费完成 确认源端的数据层数据静止 5.1 确认源端的redis数据静止 5.1 确认源端的MySQL数据静止 5.1 确认源端的MongoDB数据静止 数据一致性对比
源管理和优化成本。 如下图所示,用户为每个云资源分配了两个标签,每个标签都包含自定义的一个“键”和一个“值”,一个标签使用键为“所有者”,另一个使用键为“用途”,每个标签都拥有相关的值。 图1 资源标签示例 华为云提供的标签管理服务(Tag Management Service,
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
AZ整体宕机情况,确保集群始终有一份完整的副本确保数据高可用。 图6 中间件层Sorl高可用设计示例 数据层- MySQL高可用 主备实例跨AZ部署,借助原生MySQL主从复制同步能力实现主备间数据同步。 主备实例以VIP对外提供服务,自身IP不对租户开放。 主备秒级切换,主备切
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某个AZ故障时,切换到另一个AZ,数据库主备切换。 生产站点全体故障时,切换数据库的主备状态,然后将 DNS 授权修改为容灾站点(生产站点 0%,容灾站点为 100%)。
大数据三类数据的迁移方式 数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。详细信息请参考官网文档。 数据接入服务(Data Ingestion Service,简称DIS) 处理或分析流数据的自定义应用程序
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
发报警并执行资源扩缩容。 固定数量模式:设置最小/最大期望资源数量,当实例数量低于下限/超过上限时,系统会自动添加/移出资源,使得资源数量等于下限/上限。 手动模式:手动进行弹性伸缩,包括手动添加、移出或者删除已有的资源。 父主题: 可扩展性设计
迁移方案概述 迁移方案概述 应用上云迁移就像一次“搬家”,是围绕迁移源、迁移目标、迁移过程三要素而开展的一系列活动。 图1 应用上云迁移示意图 在进行迁移方案设计之前,先要参考第5章完成该应用的云上目标架构设计(B),然后设计从A->B的迁移方案(C)。 应用迁移方案要基于应用的
障时导致业务整体不可用;对应到华为云上用户可以采用服务跨多可用区(AZ)模式部署,各可用区之间相互隔离,当一个可用区故障时,可将业务切换到另一个可用区,快速恢复业务。云服务产品基本都具备相关的能力,用户只需在选购时选择对应的能力即可完成部署。 两地三中心高可用:对于一些特大型或者
Nginx c/m系列 运维终端 跳板机 t系列 应用层 普通应用 Web服务 ac/am系列 高性能计算服务 转码服务 c/m系列 中间件层 自建中间件 自建Redis/RocketMQ c/m系列 数据层 自建数据库 自建MySQL/Oracle c/m系列 父主题: 云服务选型
充分利用不同厂商的优势能力:不同的云服务商在技术、服务和功能方面各有优势。例如,某个云服务商可能在人工智能和机器学习方面拥有更强的技术实力,而另一个云服务商可能在数据库服务方面更具优势。多云战略允许企业根据自身业务需求,选择最合适的云服务商及其优势服务,从而最大化地发挥云计算的价值。
集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
熟悉TCP/IP、HTTP、DNS、TLS等网络协议。 具备网络故障排查能力。 熟悉网络安全技术(如防火墙规则配置、入侵检测等)。 IT部门 中间件管理员 负责消息队列 (例如 Kafka, RabbitMQ),Web 服务器 (例如 Nginx, Apache),应用服务器 (例如 Tomcat, JBoss),缓存服务
应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息