检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据的数据迁移涉及到3类数据,如下表: 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据,短期内不会变化 增量数据 数据定期更新 这3类数据的迁移方法如下: 表2 大数据三类数据的迁移方式 数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive
应用部署并提高安全性。此外,平台工程的规划设计也很重要,它为开发团队提供标准化的工具、流程和基础设施支持,提高开发效率、减少复杂性,并加速软件交付。 在运维和项目管理方面,云运营模式的设计对于高效协同CCoE和应用团队至关重要。根据企业内部的协作方式和应用系统的特征建立最合适的云
容错和高可用性:云上部署的大数据集群应具备容错和高可用性,以保障系统的可靠性和稳定性。这可以通过使用多个副本、冗余节点和故障转移机制来实现,以确保在硬件或软件故障情况下的数据和任务的持久性。 数据安全和合规性:在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、
产品是指企业面向它的外部客户提供服务的软件系统,如直播系统、网络游戏、SaaS软件等。不同的产品部署在不同的子账号中,产品之间保持严格隔离,在账号内部可以基于VPC为各个产品规划生产环境和非生产环境。这种模式特别适合互联网企业和SaaS软件企业。 IT管理账号规划 针对企业的中心
提前通知相关人员发布官网公告,若涉及到第三方的官网公告,需要提醒第三方进行官网公告发布。 应用清单核对和操作脚本刷新 上云迁移期间,企业的软件版本开发、迭代发布通常还在正常进行,所以在切换前需要进行一次环境详细清单的核对,包括应用清单和JOB任务等。 清单核对完成,通知版本封版,
Studio,可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台,有2种方法部署,可以基于华为云ECS重新部署大数据任务调度软件,或者是使用华为云SMS工具将源端调度平台迁移到华为云ECS。 大数据应用部署 大数据应用的部署有2种方法,可以基于华为云ECS重新部署大
云意愿排序,然后再按其余因素进行排序。如果做的更科学一点,可以基于每个影响因子打分,按照打分结果确定优先级。 表2 迁移优先级参考评分表 分类 影响因素 分数参考 业务环境 开发 5 测试 3 生产 1 业务重要性 一般 5 重要 3 核心 1 关联性 简单(0-3) 5 复杂(4-6)
调研评估工程师:由IT主管指派,来自IT部门,对企业现有的IT基础设施、业务系统、应用架构、数据存储、安全策略等进行全面调研和评估,包括硬件配置、网络架构、软件版本、依赖关系等;分析这些设施与云服务的兼容性和迁移难度,评估将现有系统迁移到云平台的可行性。调研评估工作属于一次性工作,经常会外包给云服务商或者云实施专业服务提供商。
实现运维自动化,降低人力成本。 提升系统的可用性和可靠性,支持业务连续性。 基于云平台的特点制定云运维流程和标准。 推广云运维工具的使用,实现自动化和智能化。 培训运维团队,提升云运维技能。 应用架构师 优化应用架构,提升系统性能、可扩展性和可靠性。 支持应用现代化,充分利用云服务的优势。
华为云CAF会针对所有这些视角给出恰当的建议,您的组织可以将这些建议作为决策和行动的起点,结合组织的业务特点和偏好制定有针对性的行动方案。 表1 云化全视角 分类 视角 关注点 干系人 业务 战略视角 基于云化转型项目支撑组织的业务战略和数字化战略,充分利用云计算的优势构建组织的核心竞争力。 CXO高级管理人员
安全运营账号需要到公网获取系统补丁包; 数据平台需要获取第三方云和本地DC的数据; DevOps账号需要从Github下载代码,需要将软件制品部署到各个业务账号; 公共服务账号需要与本地IDC互联; 生产、开发、测试环境要求网络隔离。 图2 各账号VPC网络的连通性矩阵 日志
对云上业务系统进行全方面的功能、性能、安全性和可靠性等测试。 编写和维护自动化测试脚本。 编写测试报告和文档。 有扎实的测试理论基础,熟悉软件测试理论、方法和流程等。 具备丰富的测试经验,熟悉各种测试类型,如功能测试、性能测试、安全测试和可靠性测试等。 熟悉主流的云平台及云服务。
容器:容器虚拟化技术已经成为广泛认可的容器技术服务器资源共享方式,容器技术可以在按需构建容器技术操作系统实例的过程当中为系统管理员提供极大的灵活性。 中间件层:负责应用软件在不同的技术之间共享资源,管理计算资源和网络通信,主要解决分布式环境下的数据传输,数据访问,应用调度,流程管理等。在云上,常用的业务中间件有:
能和性能验证。 功能验证 功能测试内容 功能测试确保应用系统在上线前能够正常运行,以下是功能测试的内容: 表1 功能测试内容列表 测试内容分类 说明 本应用功能测试 测试的内容强依赖应用系统的功能,比如某电商系统,核心的功能测试用例至少包括线上线下的浏览、购物、下单支付(各种支付
造成高度可伸缩、弹性和可靠的微服务架构,并将其迁移到云环境中。 微服务架构优化 我们经常看到一些互联网企业的业务发展非常快,不同业务单元的软件工程师不断增加新的微服务或重复开发实现同样业务功能的微服务,导致微服务架构非常混乱,像毛线团一样,严重影响了TTM,也导致问题定位非常耗时
迁移 数据迁移 Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中
跨AZ高可用设计示例 跨AZ高可用是IDC上云最主要的价值之一。企业上云后最适合做跨AZ高可用,不仅成本低,而且很便利。下面以某大型零售电商平台为例,介绍上云后的跨AZ高可用设计方法。下图是总体架构图: 图1 高可用设计示例 接入层:Apisix双AZ均衡分布,当某个AZ出现故障
概述 企业上云通常先进行试点,试点完以后才进入大规模的上云迁移阶段。大规模上云阶段有两种上云形态: 分批迁移:对于能分批迁移的,企业通常会将大规模迁移划分为多个批次进行。大规模迁移的执行主要是按照批次规划逐批次进行迁移,如下图: 图1 分批迁移 整体迁移:对于不能分批的,应用的关
应用部署架构示例 下图是音频类应用的云上部署设计参考架构: 图1 应用部署架构设计示例 设计要点: 用户接入采用多线路动态BGP,实现公网访问线路的自动容错,可靠性高; 华为云ELB采用集群跨可用区高可靠部署,单数据中心机房故障对业务无影响; 应用接入层采用跨可用区集群部署,单可用区的故障不会影响到全局业务;
数据边界 华为云提供了全方位数据边界保护您的敏感数据,全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份,在符合安全标准的可信网络环境中,方能获得对特定资源的访问权限,从而保障数据安全。如下图所示,可信身份从互联