检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最常用的切换方式,停止服务切换能重复保证数据一致性 低 低 0.5~3.5 停写不停读切换 较少用的切换方式,需要业务整改来实现停写不挺读,停止写服务切换能充分保证数据一致性 低 中 不停 0.5~3.5 不停服切换 很少用的切换方式,需要业务整改来实现双写或者双向同步,不停服切换需要业务改造来保证数据一致性,复杂度和难度较高
简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务(Data Express Service,简称DES)
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平
化多AZ部署的管理。 负载均衡:使用负载均衡将流量分发到不同AZ中的应用程序实例,可以设置合适的转发策略,避免单个AZ过载,以确保即使一个AZ受到高负载或故障影响,其他AZ也能接受并处理流量。 数据冗余和备份:在不同的AZ中实施数据冗余和备份策略,确保数据的可用性和可恢复性,即使
以供部署和生产使用。 数据管理和持久化: 在单体应用转换为微服务时,您需要考虑数据管理和持久化的问题。每个微服务可能需要有自己的数据库,或者共享同一个数据库。选择适合您的需求的数据库解决方案,并确保数据的一致性和可靠性。在云环境中,您可以考虑使用托管的数据库服务,如华为云RDS、
图5 应用层灰度切流 接下来进行数据层分批切换,某批次数据层切换步骤如下: 停止本批次数据层相关的应用和批处理任务。本批次的数据层静止(中间件消息队列中的消息消费完成,数据库无新增数据); 数据对比一致后,切换数据层; 修改相关的配置,启动和本批次数据层相关的应用和批处理任务。进行功能验证及保障,确保业务正常;
Ingress网关高可用:ELB实例开启多可用区,ELB Ingress即支持跨可用区高可用。 应用高可用:K8S本身就支持应用高可用,可通过配置TopologyKey实现pod跨AZ分布。 图2 应用层高可用设计示例 中间件层-Redis高可用 主备实例配置了数据持久化,数据不仅会持久化到
推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用推数,将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景:适用于应用向数据源抽数的场景,切换点在应用,需要先停止应用向旧数据源抽数,然后配置并启动应用从新数据源抽数,
Network)用于搭建用户本地数据中心与华为云VPC之间便捷、灵活,即开即用的IPsec加密连接通道,实现灵活一体,可伸缩的混合云计算环境。 应用层:负责工作流控制,实现业务逻辑。上承接入层,处理接入层的请求,返回请求结果;下接中间件层或数据层,实现对数据的增删查改。在云上,应用承载的资源主要有:
区部署,绑定虚拟IP结合keep-alive实现。 跨境业务需要提升指定区域用户范围跨境资源的体验时,选择云连接CC搭配全球加速GA,使流量通过华为云骨干网实现降低时延的效果。 低并发、大流量基础四/七层负载分发场景建议选择共享型ELB并开启性能保障模式(支持5万并发),购买两个
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
低成本、提升可用性、实现业务快速部署等,通过试点应用证明上云的价值。 实施难度:根据企业的IT部门的实施能力,选择一些实施难度较低的应用作为试点。 业务影响:考虑上云后对其它业务流程及数据流向的影响,尽量避免影响其它业务的正常运行。 安全性:考虑上云后对数据安全性及相关法律法规要
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
云服务性能测试(以数据库为例) 对于大多数应用系统来说,整个系统的瓶颈往往在数据库。因为应用的其他组件,例如网络带宽、负载均衡、应用服务器、中间件等比较容易实现水平扩展,但对于数据库,由于数据一致性要求高,多数业务系统仍然采用数据库主备方式实现,未实现数据库的分布式架构。 常用的数据库相关指标有:
如认证组件、日志组件、消息组件等,对这些组件进行标准化,确定接口定义、数据格式和错误处理机制,确保组件的一致性和可复用性。然后,将这些公共组件封装成独立的微服务,部署在CSE之上。通过CSE的服务注册中心,实现微服务的自动注册和发现,其他应用系统可以通过调用这些微服务来使用这些公
的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息,收集三种关联关系(共享数据、共享服务器、应用间通信依赖),可以参考下表收集应用的详细部署架构:
数据层可扩展设计要点 数据库中间件层:分布式数据库中间件采用华为云DDM,DDM本身集群部署,随着数据库业务增加,可平滑扩容DDM集群的规格,应对更大量的数据库处理。 数据库层:华为云RDS数据库可平滑扩展只读数据库的实例,应对大量数据读的场景;配套DDM实现多套实例水平扩容,将大表的数据做水平
参照华为云备案服务。 负载均衡 迁移到华为云ELB:源端的负载均衡可能是硬件负载均衡器或者是负载均衡软件,都可以使用华为云的ELB云服务替代,在目标端开通ELB服务,然后参考源端策略配置目标端ELB负载均衡策略,具体部署流程,请参照华为云弹性负载服务ELB。 迁移到ECS上部署的
和性能。 未考虑合规性和法律要求 在设计云上部署架构时,未考虑数据存储和访问的合规性要求,可能导致法律风险和数据泄露问题。 优化建议:在设计上云方案时,确保了解相关的法律法规和合规要求,建立数据治理和安全策略,确保数据的存储、访问和处理符合当地法规。 通过识别和避免这些反模式,并
转型的关键业务事件。 数字化转型: 企业进行数字化转型,需要更先进的IT技术和平台支撑,云平台可以提供丰富的数字化工具和服务。 数据中心退役:现有数据中心即将到期或设备老化,需要进行更新换代,迁移上云成为一个具有吸引力的选择。 合并和拆分: 企业收购、合并或拆分会对IT基础设施产