检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
化数据。结构化数据包含各类数据库,例如MySQL数据库、MongoDB数据库等,非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据,主要为业务提供即时数据支撑,包含数据查询、计算、分析、修改等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在
以下是常见的数据库迁移最佳实践。更多最佳实践可以查看DRS最佳实践汇总。 表2 数据库迁移最佳实践 源数据库类型 目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for
制定云化转型的整体计划,包括项目范围、目标、时间计划、预算和验收要求等。 项目执行与进度管理: 监督项目的执行过程,确保各阶段任务按计划完成;跟踪项目进度,识别潜在问题并及时采取措施,确保项目按时交付。 预算与成本控制:监控云资源的使用和成本,确保项目在预算范围内运行;识别并实施成本优化措施,提升云化转型的经济效益。
迁移实施常见问题 关于迁移实施过程中的常见问题及答案,请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题: 迁移
数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
复杂的计算和分析任务。 数据查询和分析: 对于大量的存储在大数据平台中的数据,需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
问题 是 否 数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状
上的虚拟机迁移到华为云弹性云服务器上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云,主机迁移服务工作原理如下图所示: 图1 SMS迁移过程 主机迁移服务的安全传输原理指的是:源端服务器中的迁移Agent从主机迁移服务获取到迁移指令后,会动态生成安全证书和密钥并且通过华为云OpenStack
华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。 表1 ECS实例类型 架构
进方向。这对于企业切实评估上云的收益、风险和挑战,以及制定有效的迁移策略至关重要。上云迁移试点一般从如下方面总结: 目标和范围:总结上云迁移试点的目标和范围,明确试点迁移的期望结果,描述试点涉及的应用程序、系统或业务流程,以及试点的时间、地点、参与人员等信息。 迁移方法和策略:总
复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsearch
中间件层迁移实施 Redis迁移 Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移
设计云化转型的愿景、明确具体的云化目标、与干系人对齐目标、邀请高层正式发布战略,以及在组织范围内进行战略宣贯。关键在于确保与所有干系人进行充分的沟通,以在组织内部达成一致意见。这个过程可能需要经过多轮的讨论、平衡和修正,才能最终形成一致的战略方向。 设计云化转型的愿景 首先是设
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。
调研大数据集群数量和功能划分:例如Hadoop集群、Spark集群、Hive集群等,并根据业务需求划分它们的功能,如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围,以及它们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件,例如实时数据可能使用Apache Kafka、Apache
务切换了。 业务切换是将业务从源端旧系统切换到云上新系统的过程,需要仔细规划和协调,以确保切换过程中不会影响数据的完整以及业务运行。 一般情况下,业务切换需要进行一定的时间,逐步切换流量,同时关闭旧的业务系统。通过这个过程,可以实现从旧系统向新系统的平稳过渡,并最终将业务成功迁移
根据云上大数据资源配置,修改源代码,例如版本、依赖库、数据库连接串,以及本地开发环境的库依赖配置等。 编译源代码,生成云上环境可执行的Jar包。 上传Jar包,并在任务调度平台部署和配置Jar包。 执行调度任务,并根据日志检查任务执行状态和结果。 如果任务执行不符合预期,例如执行时间过长,需要查找根因并进行优化和验证。
IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。
以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;