检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。详细信息请参考官网文档。 数据接入服务(Data Ingestion Service,简称DIS)
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式 特点 适用场景 华为云DRS数据复制服务 (推荐) 全量+增量迁移 配置简单,一键迁移,支持实时同步增量数据 1.适用于自建或云服务MySQL实例迁移华为云服务MySQL实例 2.适用于自建或
AZ整体宕机情况,确保集群始终有一份完整的副本确保数据高可用。 图6 中间件层Sorl高可用设计示例 数据层- MySQL高可用 主备实例跨AZ部署,借助原生MySQL主从复制同步能力实现主备间数据同步。 主备实例以VIP对外提供服务,自身IP不对租户开放。 主备秒级切换,主备切
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
据治理。 选择合适的数据存储方案,例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作,确保数据架构与整体架构的兼容性。 深入理解数据建模、数据仓库、数据湖、数据治理等概念和技术。 熟悉各种数据库技术,包括关系型数据库和NoSQL数据库。
以下是进行容器化改造的一般步骤: 评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker,但也有其他选择,如Kubernetes等。 容器化应用
业务重要性:根据企业现有的应用和业务,选择重要性较高,但又不影响正常运营的应用作为试点。 上云价值:选择上云的价值可量化、容易量化的应用,如降低成本、提升可用性、实现业务快速部署等,通过试点应用证明上云的价值。 实施难度:根据企业的IT部门的实施能力,选择一些实施难度较低的应用作为试点。 业务影响:考虑上云后对其它业
实例类型 CPU 实例系列 系列说明 适用场景 x86 通用计算增强型 Intel c 计算、存储、网络各方面性能均衡,CPU独享、性能稳定 适合大部分应用场景 AMD ac 与c系列相比,CPU不同、同规格分配的网络带宽更小,保持稳定性能的同时成本更低 高性能计算型 Intel h
验证可行性:上云迁移试点可以验证企业的应用和数据是否适合迁移到云端。通过选择一小部分应用或业务进行试点,企业可以评估业务在云环境中的兼容性、性能、安全性、可靠性等方面是否满足需求。如果发现某些应用不适合迁移到云端,企业可以根据评估结果重新规划迁移策略或寻找替代方案,避免将不适合或难以迁移的应用直接投入生产环境。
首先,对传统单体应用进行全面评估,了解其架构、功能和性能特点。同时,明确希望在云环境中实现的目标,例如可伸缩性、高可用性和灵活性等方面的要求。这个评估阶段可以帮助您确定是否适合将应用进行微服务改造和迁移到云上。 拆分单体应用: 在微服务改造之前,您需要将单体应用拆分为更小的、独立的功能模块。这个过程通常被称为"分
应用类型 接入层 应用层 中间件层 数据层 接入域名 备注 应用名称 NAT NGINX 主机数量 IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息
集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。 掌握数据库性能优化技术(如索引优化、分库分表)。 具备数据库备份与恢复、主从同步、分布式架构的运维经验。
确定Redis使用场景 Redis使用场景主要有2种,将Redis用作缓存或者将Redis用作数据库。不同使用场景的Redis迁移方案不同,详见下表所示。 表1 Redis迁移场景 Redis使用场景 迁移方式 Redis实例中的数据用作缓存 业务切换时,为防止Redis后端的数据库被击穿,可基于数据库性能判断使用哪种迁移方案:
基于上述优缺点分析,赋能和协同运营模式更适合敏态的业务系统,这些业务需要快速迭代发布新功能,以满足快速变化的市场需求,如自研的数字化营销系统。另外,如果稳态业务系统拥有IT能力较强的独立应用团队,也可以采用这种运营模式。 需要注意的是,上述三种云运营模式适合不同的业务系统和组织特征,而在一
大数据三类数据的迁移方式 数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多
数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状态‘增量迁移中’,
Zone设计 。 选择了不适合的云运营模式 在企业云化转型过程中,选择了不合适的云运营模式是一种常见的反模式。云运营模式直接影响企业在云环境中的资源管理、运营效率、安全合规和成本控制等方面。如果企业在未充分了解自身业务需求、组织结构、技术能力和战略目标的情况下,选择了不适合的云运营模式,可