检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DMS分布式消息服务 DMS分布式消息服务支持以下各种消息类型： Kafka版：基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 RabbitMq版：完全兼容开源RabbitMQ，提供即开即用、消息特性丰富、灵活路由、高可用、
DCS分布式缓存服务 分布式缓存服务（Distributed Cache Service，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，可提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。 可靠性功能 常见故障模式
OPS06-06 实施分布式跟踪 Trace是一系列因果相关的分布式事件的表示，这些事件编码了流经分布式系统的端到端请求流。 风险等级 高 关键策略 当系统出现问题时，需要能够追踪系统中每个组件的行为和交互情况。通过在系统中实现分布式跟踪，可以快速定位问题并进行有效的故障排除。 设计建议
可靠性功能 集群HA Kafka实例通过副本冗余方式实现实例容灾，当检测到leader副本故障后，快速完成副本选主，保障Kafka实例持续提供服务。 RabbitMQ集群提供镜像队列，通过镜像在其他节点同步数据。单节点宕机时，仍可通过唯一的访问地址对外提供服务。 RocketMQ
的大数据场景资源优化方法： 分布式存储：使用分布式存储系统，如Hadoop HDFS、Apache Cassandra等，将数据分散存储在多个节点上，以提高数据的可靠性和可扩展性。 数据压缩：对于大量的数据，可以采用压缩算法进行压缩，以减少数据的存储空间和传输带宽。 并行计算：使用并行计算框架，如Apache
恢复： 当CPU/内存使用高时，可根据业务情况，手工修改代理规格或增加代理数量以扩展资源。 当磁盘使用率高时，可根据业务情况，修改实例存储空间支持更大存储空间。 当带宽使用率高时，可根据业务情况，变更规格以支持更大带宽。 应用层进行过载保护，保障优先业务的运行。 生产消息失败 检测：生产消息失败
切换到备节点并自动恢复，在异常检测和恢复期间，可能会影响业务，时间在半分钟内。 数据备份和恢复 DCS支持将当前时间点的实例缓存数据备份并存储到OBS中，以便在缓存实例发生异常后能够从备份数据进行恢复。DCS实例支持定时和手动两种备份方式，定时备份频率以天为单位，最多保存7天，但
/内存/带宽/数据库连接数使用率过高”的处理。 对于非暂行性故障，应用层需要能回退到原始数据源进行处理，避免由于缓存故障而导致业务无法运行。 父主题： DCS分布式缓存服务
Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去
分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。
选择合适的Kafka 风险等级 中 关键策略 根据生产流量、消费流量、老化时间、副本数等指标，计算业务所需的规格，选择合适的Kafka规格。 规格测算： 性能容量维度所需最小节点数 = max（（存储带宽需求 / 单节点存储带宽），（网络带宽需求 / 单节点网络基准带宽）） 磁盘容量维度所需最小节点数
PERF03-06 选择合适的消息队列 风险等级 中 关键策略 三种不同版分布式消息服务的适用场景如下： Kafka：兼容开源Kafka，适用构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景，有大规模、高可靠、高并发访问、可扩展且完全托管的特点。 RocketMQ：
数据持久度 数据持久度是指数据不丢失的概率，即存储在预计周期内不出现数据丢失的概率，可以用于度量一个存储系统的可靠性。其只表示数据是否丢失的概率，不体现数据丢失多少；数据持久度的预计周期，一般按一年进行预计。 影响存储数据持久度的主要因子有：冗余数、磁盘失效率与数据修复时间。其中
GeminiDB Redis接口：GeminiDB Redis接口是一款基于华为自研的计算存储分离架构，兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多副本强一致机制，支持久化存储，保证数据的安全可靠。具有高兼容、高性价比、高可靠、弹性伸缩、高可用、无损扩容等特点，适
Hive提供了Hadoop的SQL能力，主要参考标准的SQL，Hive进行了部分的修改，形成了自己的特有的SQL语法HQL（Hive SQL），更加适合于Hadoop的分布式体系，该SQL目前是Hadoop体系的事实标准。 Hive调优 用户输入HQL，Hive将HQL进行词法解析，语法解析，之后生成执行计划，
ECS弹性云服务器 BMS裸金属服务 CCE云容器引擎 ELB弹性负载均衡 AS弹性伸缩 DCS分布式缓存服务 DMS分布式消息服务 RDS云数据库 GaussDB(for MySQL)云数据库 OBS对象存储服务 父主题： 韧性支柱
MySQL)云数据库 云数据库 GaussDB(for MySQL)是华为自研的最新一代企业级高扩展高性能分布式数据库，完全兼容MySQL。基于华为最新一代DFV存储，采用计算存储分离架构，128TB的海量存储，故障秒级切换，既拥有商业数据库的高可用和性能，又具备开源低成本效益。 可靠性功能 常见故障模式
程度上屏蔽组件的状态变化，防止对其他组件造成影响 相关云服务和工具 弹性负载均衡服务 ELB 分布式缓存服务 DCS 分布式消息服务Kafka版 分布式消息服务RabbitMQ版 分布式消息服务RocketMQ版 事件网格 EG 父主题： RES08 依赖减少与降级
据同步服务时，则需要由应用层进行数据复制；如存在有状态数据的BMS实例。 相关云服务和工具 存储容灾服务 SDRS 弹性云服务器 ECS 云数据库 RDS 分布式缓存服务 DCS 对象存储服务 OBS 父主题： RES03 跨AZ容灾
工作负载弹性伸缩：即调度层弹性，主要是负责修改负载的调度容量变化。例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。 节点弹性伸缩：即资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
