检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据参考架构 下图是典型的大数据架构,从数据集成、存储、计算、调度、查询和应用,构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是
和教训,并为后续的大规模迁移提供指导和改进方向。这对于企业切实评估上云的收益、风险和挑战,以及制定有效的迁移策略至关重要。上云迁移试点一般从如下方面总结: 目标和范围:总结上云迁移试点的目标和范围,明确试点迁移的期望结果,描述试点涉及的应用程序、系统或业务流程,以及试点的时间、地点、参与人员等信息。
屏障。确保只有经过严格验证的可信身份,在符合安全标准的可信网络环境中,方能获得对特定资源的访问权限,从而保障数据安全。如下图所示,可信身份从互联网(不可信网络)访问云资源的请求会被拒绝,不可信身份通过本地数据中心网络(可信网络)访问云资源的请求也会被拒绝,可信身份访问其他企业的对
的安全策略、安全规则和安全资源,为成员账号设置安全配置基线,对整个企业的信息安全负责 安全管理团队 统一部署具备跨账号安全管控的服务,如安全云脑SecMaster、企业主机安全HSS、数据安全中心DSC、数据加密服务DEW、云证书服务CCM、漏洞管理服务CodeArts Inspector
基于传统IT的应用生命周期管理流程如下图所示。应用系统的部署依赖硬件资源,但硬件采购和发货周期比较长,所以在应用系统立项之后就需要开始着手硬件设备和基础软件的采购,硬件到货后再将这些硬件部署到自建数据中心或者租赁的IDC机房,然后在这些硬件设备上再安装和配置操作系统和虚拟化软件等基础软件,基于这些
部署 大数据平台部署 大数据平台的部署可以参考如下方法: 大数据集群部署 基于架构设计的原则,云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hado
双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。 图1 双跑场景 推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用推数,将应用的数据源从旧数据源切换到新数据源。
部署 云资源开通及配置 迁移工具部署 父主题: 应用迁移上云
资源发现与评估工具(RDA)需要部署在华为云VPC内的ECS云服务器(Windows操作系统)上;对象存储迁移工具(OMS)为公共服务,不占用VPC内网IP资源,如果通过专线迁移数据,则需要部署离线OMS工具在华为云VPC内的ECS云服务器上;其它工具均会暂时占用VPC内网IP资源。 父主题: 部署
义容器镜像的构建过程,包括依赖安装、配置和启动命令。 容器编排与管理:如果需要管理多个容器实例、自动扩展和负载均衡等功能,可以使用容器编排工具,如Kubernetes。通过编写配置文件或使用命令行工具,定义容器的部署和运行方式。 网络和存储配置:配置容器之间的网络通信和访问外部资
云化目标示例 量化指标 云化目标示例 业务系统的可用性SLO 业务系统全年可用性SLO从99%提升到99.95%。 新产品或新版本的TTM 将新产品的TTM从6个月缩短至3个月,已有产品的迭代周期从3个月缩短至1个月。 不合规及安全事件造成的经济损失 将不合规及安全事件数量减少75%,经济损失减少75%。
方法请参考前面的数据迁移部分的内容。 根据云上大数据资源配置,修改源代码,例如版本、依赖库、数据库连接串,以及本地开发环境的库依赖配置等。 编译源代码,生成云上环境可执行的Jar包。 上传Jar包,并在任务调度平台部署和配置Jar包。 执行调度任务,并根据日志检查任务执行状态和结果。
数据的正确性和完整性。 从数据类型来看:对于包含事务性数据(例如银行交易记录),通常需要确保迁移过程中的数据一致性。这意味着在迁移完成后,源数据和目标数据需要精确匹配,以避免数据不一致引发的问题。而对于非事务性数据,一些微小的数据差异可能是可以接受的。 从数据重要性来看:关键业务
应用部署架构示例 下图是音频类应用的云上部署设计参考架构: 图1 应用部署架构设计示例 设计要点: 用户接入采用多线路动态BGP,实现公网访问线路的自动容错,可靠性高; 华为云ELB采用集群跨可用区高可靠部署,单数据中心机房故障对业务无影响; 应用接入层采用跨可用区集群部署,单可用区的故障不会影响到全局业务;
修改两边的配置,使源端应用层指向源端和目标端的中间件层/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障; 实时对比源端和目标端数据一致性; 历史数据迁移至华为云数据层; 修改外部DNS域名解析地址,将外部流量从源端切换到华为云。
华为云上的应用层和数据层内部域名等配置修改,重启华为云上的应用服务; 外部DNS域名解析,将解析地址从源端接入层切换到华为云接入层,使外部流量进入华为云; 图2 一把切方案 应用层灰度切流,数据层整体切换 应用层灰度切流前做好如下准备工作: 源端应用层已迁移或部署到华为云; 华为云应用层跨
重心在于保护资源,而不是网段。与传统安全理念对比,它将网络防御的重心从静态的、基于网络的边界转移到了用户、设备和资源上。所有的资源(如人/物/终端/应用/网络/数据/供应链)都需要进行持续身份验证和信任评估,从全局视角执行动态安全策略。零信任通过动态、持续性的实体风险评估,缩小受攻击面,保证系统安全。
当云计算技术出现之后,企业基于云平台和云服务搭建IT基础设施,并逐步把大量业务系统迁移或者直接部署在公有云上,IT运营模式进入云计算时代。基于云平台的IT运营模式(简称云运营模式)将企业的关注点从IT基础设施上移到应用程序和数据资产,您需要有效配置、管理和优化云资源,以支持业务系统在云上的安全稳定运行。简单来讲
熟悉主流云平台的中间件服务的部署和管理。 熟悉操作系统,例如 Linux, Windows Server 等。 了解 DevOps 理念和实践。 具备一定的脚本编写能力。 具备良好的故障排除和问题解决能力。 IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库
灵活开通导致精细化管控难:云的灵活扩展和支出限制少,有利于业务发展和创 新,但也容易产生资源浪费。如为了追求性能和质量,业务团队配置的资源大 于运行工作负载实际需要,产生过度配置;部分项目新建环境或者扩容实例 后,最后忘记关闭形成闲置等; 企业面对这些问题时,发现难以精细化管理云成本,也难以选