检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计时,可以考虑继续采用自建的方案。 最小改造原则:如无特别的业务驱动,要尽量避免进行大规模改造。大数据集群的组件要1:1对标设计,版本尽量一致,有版本升级需求的需要评估适配改造工作量。 弹性扩展和自动伸缩:设计云上的大数据集群时,应考虑集群的弹性扩展和自动伸缩能力。这意味着集群可
考虑继续采用自建的方案。 最小改造原则:如无特别的业务驱动,要尽量避免进行大规模改造。大数据任务调度平台的组件要1:1对标设计,版本尽量不变更,有版本升级需求的需要评估适配改造工作量。 弹性和可扩展性:在云上部署大数据任务调度平台时,应考虑平台的弹性和可扩展性。云环境提供了弹性计
组织的资源和能力现状,确保目标是可实现的。通过上述云化成熟度评估,您正好能够掌握组织当前的能力现状和差距,可以有针对性地制定云化目标,避免设置过高或过低的目标。 为了制定可衡量的云化目标,需要针对云化驱动力设计合理的量化指标,方便组织的管理层进行跟踪和评估云化转型的实际效果。我们针对上述各种驱动力设计了以下量化指标。
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
来源 调研评估工程师 现状调研:对企业现有的IT基础设施、业务系统、应用架构、数据存储、安全策略等进行全面的调研和文档记录,包括硬件配置、软件版本、依赖关系、性能指标、安全漏洞等。 需求分析:业务部门沟通,了解其对云化转型的需求和期望,例如性能提升、成本优化、灾备恢复等,并将这些需求转化为具体的技术指标。
和部署应用程序。 基础设施即代码(IaC):采用基础设施即代码的方法可以将基础设施配置和管理纳入代码库中。这样可以确保基础设施的可重复性、版本控制和自动化部署,从而提高整个环境的稳定性和可靠性。 集中日志和监控:通过集中管理日志和监控数据,可以实时了解系统运行状况,并及时发现和解
云运维团队 云运维团队负责云基础设施的日常管理与维护,确保云基础设施的高可用性、高安全和高性能,协同应用运维管理员保障云上业务系统的长期安全稳定运行,并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示。
度的降低应用系统的网络安全与隐私保护合规风险,CCoE团队的云安全专家需要参与到应用系统的上线活动中,与应用团队合作,共同分析、判断其相关版本或服务是否符合所服务区域的安全隐私合规要求。 其中,为了确保中低安全与合规风险的应用系统可以快速上线,云安全专家需要发布安全与隐私合规的自
OD自动减容,支持配套应用性能监控(AOM)实现告警策略自动触发扩容或减容; 若应用层使用ECS进行部署,则可通过华为云弹性伸缩服务AS,设置对应的伸缩策略,随业务实现水平扩缩容。 中间件层可扩展设计要点 消息中间件层:华为云DMS RabbitMQ专享版底层是集群环境,随着消息
洞见和决策支持。 任务调度: 大数据平台通常需要处理复杂的数据作业。任务调度系统(如Azkaban等)用于管理和调度各种数据处理作业,可以设置作业的依赖关系、调度频率、重试策略等,以确保作业的顺利执行和任务的准时完成。 数据应用: 大数据平台的最终目的是为业务提供有价值的数据应用
数据验证 数据验证标准 迁移完成后,需要对源端和目的端数据做一致性比对,对于数据一致性比对的精度,不同的场景有不同的要求。一般来说,核心业务的数据库表要求源端和目的端100%一致;对于大数据类业务中的部分场景,例如用户画像计算等,可以约定原始数据90%一致。如下是一个参考标准,可根据实际情况调整:
中间件层迁移方案 当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所,数据一般不用迁移,但在切换时,为了确保源端和目的端数据的一致性,需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的,即作为数据库使用,此场景需要进
原生安全,提供云上资产管理、安全态势管理、安全信息和事件管理、安全编排与自动响应等能力,可以鸟瞰整个云上安全,精简云安全配置、云防护策略的设置与维护,提前预防风险,同时,可以让威胁检测和响应更智能、更快速,帮助您实现一体化、自动化安全运营管理。关于SecMaster服务的详细功能和详细使用方法,请参考官网帮助文档。
应用运维管理员 负责云上业务系统的部署、监控和维护,确保业务系统的安全稳定运行。 处理应用运行中的故障,优化应用性能。 配合开发团队进行应用的版本更新和发布。 监控应用日志,分析并解决潜在问题。 熟悉云平台的APM服务,具备应用性能监控和日志分析能力。 掌握CI/CD工具和容器编排工
其中大数据应用的迁移请参考应用迁移上云,本章只对大数据应用迁移的特殊注意点进行描述。 大数据迁移流程每个阶段概述如下: 调研:调研大数据平台的版本和配置信息、数量类型和数据量、任务类型和任务量。 设计:设计大数据的部署架构、数据迁移方案、任务迁移方案和数据校验方案。 部署:部署大数据平台,包括集群部署和任务调度平台部署。
外部依赖,并采取适当的措施,以确保迁移后外部业务正常运行,不受影响。 第三方应用程序依赖关系 调研与目标应用有关的第三方应用或服务,包括其版本和集成方式。确定是否需要对这些依赖项进行调整或重新配置。 外部数据源和 API 依赖关系 分析和记录目标应用所依赖的外部数据源和 API,
两地三中心高可用设计 对于业务连续性要求较高的业务,可以考虑两地三中心的高可用性方案,如下图所示。 提供最高程度的业务连续性和数据可用性,在超大规模地域级自然灾害的时候都能保护数据和业务。 RPO 时间取决于数据库复制间隔; 由于容灾站点一直运行,RTO 依赖容灾切换时间,通常取决于
双AZ高可用设计 公有云最常用的就是双AZ高可用方案,应用的四层架构(接入层、应用层、中间件、数据层)建议实现端到端的双AZ部署,如下图所示。 图1 双AZ高可用设计 设计要点: 业务模块:集群部署的业务,资源分别部署到 2 个AZ内,并通过 ELB 实现双AZ的负载均衡;单点业务ECS可通过
计算服务选型 华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。
概述 在全球化和技术迅速发展的新时代,企业所处的市场环境正经历着变化。消费者需求不断升级,市场竞争日益激烈,传统的商业模式面临巨大挑战。面对这些压力,数字化转型已成为企业实现业务创新和可持续发展的必由之路。 数字化转型是指组织利用数字技术(如IT基础设施、数据库、大数据、物联网、