检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
egion的AZ间时延,这种情况可以考虑单AZ部署,利用云服务主备、集群化部署模式来满足单个业务节点故障时快速恢复业务的需求,主要利用集群内节点故障自动探测和切换的方式来完成故障节点的恢复,消除业务单点,避免单点故障时业务受损。 双AZ(同城)高可用:对业务可用性要求比较高的业务
复杂的计算和分析任务。 数据查询和分析: 对于大量的存储在大数据平台中的数据,需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。
高可用性和容错性:确保在云上部署的任务调度平台具备高可用性和容错性。采用冗余设计和自动故障恢复机制,以确保系统的持续可用性。例如,使用多个调度节点和备份策略来防止单点故障,并确保任务不会因节点故障而中断。 安全性和数据保护:云上部署的任务调度平台需要具备安全性和数据保护机制。确保对敏感数据和系统组件进行适当
、MongoDB数据库等,非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据,主要为业务提供即时数据支撑,包含数据查询、计算、分析、修改等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时,需要结合业务连续性、迁移网络、
RabbitMQ专享版底层是集群环境,随着消息处理量和负载的增加,可以平滑的扩大规格。 缓存中间件层:华为云DCS Redis主备版随着热数据容量增加可无缝支撑缓存的平滑扩容节点规格。 数据层可扩展设计要点 数据库中间件层:分布式数据库中间件采用华为云DDM,DDM本身集群部署,随着数据库业务增加,可平滑扩容DDM集群的规格,应对更大量的数据库处理。
常用的数据库相关指标有: TPS/QPS:每秒处理事务数和每秒查询数,用于衡量数据库的吞吐量。 响应时间:包括平均响应时间、最小响应时间、最大响应时间、时间百分比等,其中时间百分比参考意义较大,如前95%的请求的最大响应时间。 并发量:同时处理的查询请求的数量。 成功率:指请求在一定时间内成功返回结果的比例。
中间件层迁移方案 当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所,数据一般不用迁移,但在切换时,为了确保源端和目的端数据的一致性,需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的,即作为数据库使用,此场景需要进行数据
架构模板查找 登录华为云官网,在上方导航栏选择“解决方案>通用解决方案>Haydn解决方案数字化平台”进入Haydn解决方案数字化平台首页,在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。 支持输入架构模板名称、适用行业、适用场景等关键字对架构模板进行查找; 支持
架构设计时未考虑高可用性,导致关键组件成为单点故障,一旦发生故障,整个系统将无法正常工作。 优化建议:实现冗余设计,采用负载均衡策略,确保应用的关键服务在多节点上运行,提升系统的可靠性和可用性。 架构设计未考虑业务的地理分布 设计云上部署架构时,未考虑业务的地理分布,导致用户访问延迟高,体验不好。
性能、效率并节约成本。 容错和高可用性:云上部署的大数据集群应具备容错和高可用性,以保障系统的可靠性和稳定性。这可以通过使用多个副本、冗余节点和故障转移机制来实现,以确保在硬件或软件故障情况下的数据和任务的持久性。 数据安全和合规性:在云上部署的大数据集群需要有严格的数据安全和合
是否需要共享:EVS支持共享操作,需要在购买时勾选共享特性,并通过专用集群软件管理共享磁盘。而SFS和OBS天然支持共享,因此需要结合业务场景分析要存储的内容是否有多节点共享的诉求。 存储容量:不同的存储类型可以支持的容量不同,需要基于当前业务量和未来发展预估所需的容量级别,以便选择合适的存储类型: 表2 存储服务的最小和最大容量
微服务引擎(Cloud Service Engine,CSE),是用于微服务应用的云中间件,支持华为云贡献到Apache社区的注册配置中心Servicecomb引擎、开源增强的注册配置中心Nacos引擎和应用网关。您可结合其他云服务,快速构建云原生微服务体系,实现微服务应用的快速开发和高可用运维。
然灾害的时候都能保护数据和业务。 RPO 时间取决于数据库复制间隔; 由于容灾站点一直运行,RTO 依赖容灾切换时间,通常取决于 DNS 缓存刷新时间,一般为分钟级,如果采用 GSLB 自动探测切换可进一步降低故障恢复时间。 图1 三AZ高可用设计 设计要点: 生产数据中心和容灾中心分别部署在华为云
的方法是使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个
在微服务架构中,服务治理变得至关重要。您需要考虑如何发现、注册、配置和监控您的微服务。选择适合您的需求的服务注册与发现工具(如Consul、Eureka等),并确保在整个服务生命周期中能够有效地管理、监控和维护微服务。服务注册与发现工具可以帮助您自动化服务的注册和发现过程,并提供服务的健康状态检查和负载均衡等功能。
调研大数据集群数量和功能划分:例如Hadoop集群、Spark集群、Hive集群等,并根据业务需求划分它们的功能,如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围,以及它们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件,例如实时数据可能使用Apache
首席执行官(CEO) 推动企业战略目标的实现,提升业务敏捷性和市场竞争力。 促进收入增长和利润提升,确保企业的可持续发展。 降低运营风险,保障业务连续性。 加速业务创新,开拓新市场和新业务模式。 提升企业形象和社会责任,关注可持续发展。 全面领导云化转型战略的制定和实施,担任项目的最终决策者,确保云化转型战略与公司业务战略对齐。
信,主要解决分布式环境下的数据传输,数据访问,应用调度,流程管理等。在云上,常用的业务中间件有: 缓存:华为云提供的缓存中间件主要为分布式缓存服务(Distributed Cache Service,简称DCS),包含Redis、Memcached等。 消息中间件:华为云提供的分
证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。 python脚本 根据DRS任务的ID
service 平台即服务 PUE Power Usage Effectiveness 能源利用效率 QPS Query Per Second 每秒查询数 ROI Return of Investment 投资回报率 RPO Recovery Point Objective 恢复点目标 RTO