检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsearch
适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云云服务SQLserver实例 备份与恢复 全量+增量备份导入 操作繁琐 适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云RDS for SQL Server PostgreSQL迁移方案 表3 PostgreSQL迁移方案
实践汇总。 表2 数据库迁移最佳实践 源数据库类型 目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for
华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。 表1 ECS实例类型 架构 实例类型 CPU 实例系列
标签设计原则 为华为云资源设计标签时,我们提供以下建议: 请勿在标签中存储用户身份信息或其他敏感信息。 对标签区分大小写格式,并跨所有资源类型一致地应用该格式。 虽然标签有长度规格上限,但尽量不要每个标签都达到标签规格上限,标签长度能标明含义即可。 提前识别标签的应用场景,比如成
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
业务场景分析要存储的内容是否有多节点共享的诉求。 存储容量:不同的存储类型可以支持的容量不同,需要基于当前业务量和未来发展预估所需的容量级别,以便选择合适的存储类型: 表2 存储服务的最小和最大容量 存储类型 最小容量 最大容量 EVS 10GB 32TB SFS Turbo 20MB/s/TiB
问题 是 否 数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多
数据验证方法 数据分为数据库数据、中间件数据和文件数据,这三种数据的一致性验证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。
Redis使用场景主要有2种,将Redis用作缓存或者将Redis用作数据库。不同使用场景的Redis迁移方案不同,详见下表所示。 表1 Redis迁移场景 Redis使用场景 迁移方式 Redis实例中的数据用作缓存 业务切换时,为防止Redis后端的数据库被击穿,可基于数据库性能判断使用哪种迁移方案: 方案1:不迁移,将Redis缓冲数据提前预热
选择合适的数据存储方案,例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作,确保数据架构与整体架构的兼容性。 深入理解数据建模、数据仓库、数据湖、数据治理等概念和技术。 熟悉各种数据库技术,包括关系型数据库和NoSQL数据库。 熟悉大数据
调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。 表2 主机信息调研表示例 主机名 主机类型 (ECS/物理机) 规格 CPU (core) 内存(GB) 操作系统版本 系统盘类型 系统盘大小(G) 数据盘类型 数据盘大小(G) 私网IP
应用层迁移方案 应用层通常部署在物理机、虚拟机或容器内,应用的类型包括有状态和无状态两种。应用的部署方式和应用状态是应用层迁移方案设计时需要考虑的因素,不同的部署方式和应用状态适用的迁移方案不同。 平迁部署在主机上的应用 传统架构的应用,通常部署在物理机或虚拟机,建议优先通过华为
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。
需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术,调度任务类型,可视化和管理界面,扩展性和集成性,容错和故障恢复,安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,例如Azkaban等,了解它们的特点和适用场景。
以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
简介 标签是用于标识和分类云资源,通常由键(Key)和值(Value)组成。当用户拥有相同类型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境等)对云资源进行标识和分类,然后基于标签进行资源筛选、成本归类和细粒度权限设置等,从而简化资源管理和优化成本。 如下图所示,