检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
化数据。结构化数据包含各类数据库,例如MySQL数据库、MongoDB数据库等,非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据,主要为业务提供即时数据支撑,包含数据查询、计算、分析、修改等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在
实践汇总。 表2 数据库迁移最佳实践 源数据库类型 目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for
复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsearch
问题 是 否 数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状
数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
种维度(例如用途、所有者或环境等)对云资源进行标识和分类,然后基于标签进行资源筛选、成本归类和细粒度权限设置等,从而简化资源管理和优化成本。 如下图所示,用户为每个云资源分配了两个标签,每个标签都包含自定义的一个“键”和一个“值”,一个标签使用键为“所有者”,另一个使用键为“用途”,每个标签都拥有相关的值。
全策略,可能导致标准不统一,安全策略不一致,增加管理难度。 成本增加:缺乏中央协调,容易导致重复建设和资源浪费,进而增加云成本。 缺乏整体视图:难以获得企业整体的云资源使用情况,阻碍战略决策和优化。 基于上述优缺点分析,去中心化运营模式适合那些需要完全控制云资源创建和运维的创新业
升资源利用率,降低总体成本。 全局视图:CCoE团队集中监控和分析整个企业的云资源使用情况,可以进一步优化资源配置。 赋能和协同运营模式的缺点如下: 实施复杂度高:需要制定复杂的IT治理措施,强制各个业务单元执行统一的IT标准,另外还需要额外定义和管理统一的服务目录。 能力要求高:
安全运营管理视图,最后将业务系统运行环境的安全数据、资产,纳管对接到统一的安全运营平台中,安全云脑可以纳管华为云和IDC的运行环境,还可以跨Region、跨账号纳管运行环境。 资产盘点,识别并清理资产风险 使用安全云脑自动盘点华为云上各类资产(主机、IP、网站、数据库等),并使用
吞吐量的限制是性能瓶颈的一种重要表现形式; 针对存储资源,IOPS是指每秒发生的输入/输出操作的次数,是数据传输的一个度量方法; 针对数据库资源,并发能力是指一个时间段中有几个程序都处于运行的能力。 除此之外,我们还要考虑以下几个方面的内容:方案选择、性能度量、性能监测和性能权衡。
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
管理,集中化管理还可以降低运营复杂度,提高效率。 成本优化:通过统一搭建公共资源、集中采购和资源整合,提升资源利用率,降低总体成本。 全局视图:CCoE团队集中监控和分析整个企业的云资源使用情况,可以进一步优化资源配置。 集中化运营模式的缺点如下: 缺乏敏捷性: 所有云资源请求都
数据验证方法 数据分为数据库数据、中间件数据和文件数据,这三种数据的一致性验证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。
前提:脚本类任务调试依赖的数据已完成迁移,迁移方法请参考前面的数据迁移部分的内容。 源端脚本导出:从源端调度平台拷贝调度任务的可执行脚本。 修改脚本:根据云上环境配置,修改脚本,例如数据库连接串,资源配置,输出目录等。 目标云平台导入脚本:上传脚本到云上调度平台,并配置脚本类调度任务。 脚本任务运行和测
以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
已适配ARM的大部分应用场景 鲲鹏内存优化型 鲲鹏 km 与m系列相比,采用鲲鹏处理器,价格更低 数据库/内存数据库 鲲鹏超高I/O型 鲲鹏 ki 与i系列相比,采用鲲鹏处理器,价格更低 大数据/缓存数据库 鲲鹏AI推理加速型 鲲鹏 kai 与ai系列相比,采用鲲鹏处理器,价格更低 深度学习、科学计算、CAE
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。
在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某个AZ故障时,切换到另一个AZ,数据库主备切换。 生产站点全体故障时,切换数据库的主备状态,然后将 DNS 授权修改为容灾站点(生产站点