检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsearch
化数据。结构化数据包含各类数据库,例如MySQL数据库、MongoDB数据库等,非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据,主要为业务提供即时数据支撑,包含数据查询、计算、分析、修改等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在
实践汇总。 表2 数据库迁移最佳实践 源数据库类型 目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for
式。对于数据库类需要直接裸盘映射的应用,只能使用块存储(EVS)。 是否需要共享:EVS支持共享操作,需要在购买时勾选共享特性,并通过专用集群软件管理共享磁盘。而SFS和OBS天然支持共享,因此需要结合业务场景分析要存储的内容是否有多节点共享的诉求。 存储容量:不同的存储类型可以
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
常见的数据存储技术包括分布式文件系统(如HDFS)、列式数据库(如HBase)等。这些存储系统提供高可靠性、可扩展性和容错性,以支持大规模数据的存储和访问需求。 大数据计算: 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。主要的计算框架包括Hadoop、Spark、
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。HBase会把数据存储在HDFS上,主要包括HFile文件和WAL文件,由配置项“hbase.rootdir”指定在HDFS上的路径,华为云MRS的默认存储位置是“/hbase”文件夹下。HBase自带的一些机制和工具命令也可以
迁移到云端的过程,迁移策略采用Rehost或Replatform,不含Refactor(应用改造),数据层包含对象存储、块存储、文件存储、关系型数据库、非关系型数据库。 应用上云迁移遵循如下的流程: 图1 应用迁移小循环 上述流程的执行对象是应用迁移分组,一个迁移批次通常包含一个
数据验证方法 数据分为数据库数据、中间件数据和文件数据,这三种数据的一致性验证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。
Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移,当客户端重新登录时会在华为云DCS中再一次存储。 离线备份导入
外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
选择合适的数据存储方案,例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作,确保数据架构与整体架构的兼容性。 深入理解数据建模、数据仓库、数据湖、数据治理等概念和技术。 熟悉各种数据库技术,包括关系型数据库和NoSQL数据库。 熟悉大数据技术,例如Hadoop、Spark、Flink等。
关于迁移实施过程中的常见问题及答案,请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题: 迁移
已适配ARM的大部分应用场景 鲲鹏内存优化型 鲲鹏 km 与m系列相比,采用鲲鹏处理器,价格更低 数据库/内存数据库 鲲鹏超高I/O型 鲲鹏 ki 与i系列相比,采用鲲鹏处理器,价格更低 大数据/缓存数据库 鲲鹏AI推理加速型 鲲鹏 kai 与ai系列相比,采用鲲鹏处理器,价格更低 深度学习、科学计算、CAE
群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险; 云
问题 是 否 数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状
IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。
行,减少停机时间。 安全防护能力:云服务商在安全防护方面有很深的积淀,既有端到端的安全技术体系,也有完备的安全管理流程和规范,更有一支庞大的安全专家团队每时每刻在保障云平台的安全,因此公有云相比大多数组织的内部IT团队有更强大的信息安全保障能力。 市场扩张 将业务扩张到全球市场是
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。