检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用层进行重试,以应对暂时性故障;应用故障重试处理可参考“故障重试”。 当多次重试后仍无法写入成功,可将数据写入本地缓存,待服务可用后再写入实例。 当实例由于过载导致网络限制时,可参考“CPU /内存/带宽使用率过高”的处理。 父主题: DMS分布式消息服务
安全、密钥安全、密钥管理复杂等问题。 云证书管理服务 CCM:为云上海量证书颁发和全生命周期管理的服务。目前它可以提供SSL证书管理和私有证书管理服务。 数据库安全服务 DBSS:基于机器学习机制和大数据分析技术,提供数据库审计,SQL注入攻击检测,风险操作识别等功能,保障云上数据库的安全。
转接。 集群服务部署规划 服务规模与业务容量参数配置对照表 Spark作为内存计算引擎,需要更多的内存和CPU。用户在规划规格时,应根据当前的业务容量和增长速度,规划合理的内存和CPU资源,特别需要关注以下几点: 当程序运行在yarn-client模式下时,需要关注在driver
工作负载亲和/反亲和:负载部署在相同节点(就近部署就近路由降低网络消耗),或负载部署在不同节点(减少宕机影响); 详见“调度策略(亲和与反亲和)”。 过载控制 CCE集群支持过载控制,在开启过载控制后,可根据控制节点的资源压力,动态调整请求并发量,维护控制节点和集群的可靠性。详见“集群过载控制”。 弹性伸缩
当客户端请求超时或收到错误响应时,客户端需要决定是否重试;重试有助于客户端在请求失败时,通过重复消息来获得预期的结果,避免业务失败,但也会消耗更多的服务器时间来获取所需的成功响应。 风险等级 高 关键策略 请求超时,可能是链路闪断或其他临时性故障导致消息丢失,可以进行重试。 根据错误响应码进行有针对性
在低需求时段过度预配。虚拟机弹性伸缩和容器弹性伸缩都是实现应用自动化扩容和缩容的方式,但虚拟机弹性伸缩需要更多的资源和时间来启动和部署,而容器弹性伸缩可以更快速地响应变化,同时具有更高的资源利用率。虚拟机场景可以使用AS,容器场景充分考虑CA和HPA的弹性策略。 使用容器时弹性策略可参考下面内容:
有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。
括实例类型、可伸缩性和容器化等因素。不同的计算服务具有不同的功能和特征,可能会影响工作负载的性能。选择最佳计算服务以确保工作负载高效运行。请考虑以下策略: 了解实例类型 不同的实例类型针对不同的工作负载进行优化,例如CPU优化、内存优化和GPU优化,选择符合需求的实例类型。 考虑自动缩放
盖不足应及时增购,资源包使用过少则应在资源包到期后续购合适大小的资源包,避免浪费。 相关服务和工具 华为云成本中心提供资源包的使用率/覆盖率分析,您可以通过该工具了解已购资源包的使用率和覆盖率情况,识别资源包购买过多(使用率低),还是过少(覆盖率低),从而优化下一阶段的购买。 华
DMS分布式消息服务支持以下各种消息类型: Kafka版:基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 RabbitMq版:完全兼容开源RabbitMQ,提供即开即用、消息特性丰富、灵活路由、高可用、监控和告警等特性,广泛应用于秒杀、流控、系统解耦等场景。
性能数据采集 收集性能数据是收集指标和日志的过程,这些指标和日志提供有关工作负载性能的信息。 此数据包括数值,称为指标。 指标描述系统在特定时间点的状态。 它还包括包含组织成记录的不同类型的数据的日志。 通过收集性能数据,可以监视和分析工作负载的性能。 可以使用此信息来识别性能瓶
等资源。从而按业务来管理不同类型的资源、告警规则、告警记录,可以迅速提升运维效率。 站点监控:站点监控用于模拟真实用户对远端服务器的访问,从而探测远端服务器的可用性、连通性等问题。 日志监控:日志监控提供了针对日志内容的实时监控能力。通过云监控服务和云日志服务的结合,用户可以针对
进行保护。这样,即使敏感数据被非法窃取,也可降低这类数据泄露的风险。 应该监控加密和解密密钥的使用,并根据数据用途、类型和分类来选择不同的加密密钥。 相关云服务和工具 数据加密服务 DEW:DEW与OBS、云硬盘(EVS)、镜像服务(IMS)等服务集成,可以通过密钥管理服务(KM
故障场景的命中率:分析故障场景中,真实发生的比率。 应急预案的质量:用于度量应急预案有效性和执行效率。 风险发现个数与等级:定期评估分析(季度或年度)主动发现的风险数量和级别。 风险消减个数、等级与类型:风险降级的数量,风险消减的数量,增加预案的数量,改进监控项的数量。 故障恢复时长提
其中前端无状态应用采用ECS,后端数据库基于不同业务类型可采用不同数据库,通常为RDS for MySQL;基于业务需要,通常还会使用DCS、Kafka等中间件及DDS文档数据库;为满足对应的可用性目标,建议方案如下: 类别 实施方案 冗余 ELB、RDS、DCS、Kafka、DDS等云服务实例均采用高可用部署。
协议、提示信息等形式呈现。 风险等级 中 关键策略 主动通知数据主体的重要性在于: 透明度和可控性:通过主动通知,数据主体可以了解数据处理者如何处理其个人数据,从而增加对个人数据的透明度和可控性,使其能够做出知情同意的决定。 合规性:在许多隐私保护法规(如欧洲的GDPR)中,主动
备份恢复时的RPO指标(即数据丢失量),与最近一个备份时间点相关;不同类型的数据,允许丢失数据量可以不同,即RPO不同;为了保证数据备份的RPO目标,需要采用定期自动备份,而不要依赖人工进行手工备份。 RES02-01 识别和备份应用中所有需要备份的关键数据 RES02-02 自动数据备份
限制。 在系统中也可配置资源使用超过一定限额后进行预警,避免配额超过限制后导致业务受影响。 相关云服务和工具 使用华为云“我的配额”,可以查询每个云服务不同资源类型的总配额限制和已用配额,可根据业务的需要申请扩大对应云服务指定资源的配额,也可配置配额预警,以便在配额达到预警阈值时可收到告警通知,以便提前申请提升配额。
后端数据库,其中前端无状态应用可采用ECS或CCE(以ECS为例),后端数据库基于不同业务类型可采用不同数据库,通常为RDS for MySQL;为满足对应的可用性目标,建议方案如下: 类别 实施方案 冗余 ECS与RDS单节点部署。 备份 RDS自动备份,在数据故障时使用最新备份数据恢复,可以满足可用性目标要求。
云服务类型和规格,利用好云弹性的特性的优势。设计功能过于复杂的组件,有时候是为了通用,有时候则是一种不好的软件设计习惯。够用原则适用于自己设计或者调用已有的功能,使用时注意避免过度设计。 性能可观测 在业务系统开发维护阶段,采取措施(例如在关键点插入代码,探测器)使测试和分析负载