检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
措施削减或规避风险,保障变更成功。变更风险指现网各要素增、删、改及状态改变(如版本迭代、配置改变、节点扩缩容等)时引发的业务中断风险及变更失败可能导致的业务受损风险。 设计建议 变更风控衡量指标:变更风控衡量指标为变更导致事件密度和变更引入重大事件数。 变更导致事件密度定义:每月
变更信息:变更系统、变更场景、变更类型等。 变更方案:变更实施方案、回滚方案、验证方案等。 变更审批:由于变更系统相关的负责人进行审核,确保变更风险级别,若无法控制或无法预测,则建议明确变更方案或禁止变更。变更审批流程可由多人进行组合,包括:业务负责人、团队TL、技术TL等,变更涉及的人员可根据变更的影响程度以及影响范围等因素确定。
可用的可能性。 与依赖项的通信采用异步消息并支持超时重试,或发布/订阅消息功能将请求与响应分离,以便依赖项从短时故障中恢复。 依赖项长时间无法访问时,应用程序应能继续执行其核心功能,以便将局部故障对整体系统功能的影响减到最小。如所依赖的数据丢失时,应用程序仍能运行,但可以提供稍微
RES12 应急恢复处理 应用系统无论如何精心设计,仍可能会出现无法恢复的故障,当此类故障发生后,需要进行应急恢复处理。 RES12-01 组建应急恢复团队 RES12-02 制定应急预案 RES12-03 定期应急恢复演练 RES12-04 出现问题后尽快恢复业务 RES12-05
改,如果要更改则需要与产品相关SE、产品经理对齐,重新进行发布。 性能基线则需要持续继承:性能基线的数值则在每个版本设计阶段进行确认完成,不能出现之前的基线内容全部推翻重来。 性能基线的维护主体:性能基线一经发布,则测试严格按照性能基线要求进行测试与评估。 非性能基线测试则有权进
S实例进行负荷分担。 对于无状态业务,启动AS弹性伸缩,自动扩展资源。 应用层进行过载保护,保障优先业务的运行。 连接后端ECS失败 检测:网络连接失败。 恢复: 至少部署2个后端ECS。对于无状态业务,配置ELB弹性负载均衡保障业务可靠性;对于有状态业务,由应用层实现多实例高可用。
变更防差错 在系统的运行过程中,配置变更是导致生产系统不可用的重要风险之一,如配置修改、工作负载手工增缩或补丁安装等。当变更失败时,可能会导致性能下降或业务中断等严重的问题。因此为了降低变更带来的业务风险,需要为工作负载或其环境的更改做好准备,实现工作负载的可靠操作。 变更操作属
负载均衡分发时需检查后端节点的负载状态,并根据各节点的负载进行业务分发。 在后端节点故障的情况下,需要自动将业务分发给其他健康节点处理,以避免业务失败。 相关云服务和工具 弹性负载均衡 ELB:支持业务负载均衡处理,还支持后端服务器健康状态检测,自动隔离异常状态的ECS。 父主题: RES13
如某导购网站日志分析业务,存储经常扩容,计算需求没有明显增长,计算资源浪费;某互联网客户推荐业务,存储容量缓慢线性增加,计算突发需求大,峰值计算资源消耗是低谷时几十倍,无法弹性使用计算资源。使用对象存储代替HDFS/本地盘,计算存储分离,多种计算组件独立部署,计算和存储各自按需使用,避免绑定性浪费,结构化降本30%。
CS所在物理服务器由于硬件原因故障时,ECS重启或在其他物理服务器中自动恢复,恢复过程中与ECS的通信会中断,需要重试。 实例由于过载导致无法及时响应,需要重试。 RES09-01 API及命令调用需要设计为可重试 RES09-02 客户端需要根据综合评估是否要重试 RES09-03
云容器引擎 CCE:支持容器健康检查,容器运行过程中,可根据用户需要,定时检查容器健康状况。若不配置健康检查,如果容器内应用程序异常,Pod将无法感知,也不会自动重启去恢复。最终导致虽然Pod状态显示正常,但Pod中的应用程序异常的情况。 父主题: RES10 故障隔离
扩展:使用平台提供的功能和其他工具(例如: 资源编排服务 RFS),在负载增加或减少时自动扩展基础架构。 监控和警报:使用云运维中心 COC和云监控服务 CES提供的工具自动注册新部署的资源并配置警报触发的操作,以帮助在出现问题时加快修复速度。 自我修复:使用云监控服务 CES生成的警报来自动执行操作并恢复出现故障的组件或作业。
以便后续审计和监控。 不可抵赖性 在通信或交易过程中,一方无法否认已经发出的消息或行为,也无法否认接收到的消息或行为。不可抵赖性通常通过数字签名、公钥基础设施(PKI)、审计日志和审计跟踪等技术来实现,确保通信双方无法否认其行为或消息。 账号 帐号是您的华为云资源归属、资源隔离
Replication Service,简称DRS)创建灾备任务,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。数据复制服务提供的实时灾备功能,可实现主实
作程序中,清楚地记录人工步骤,并实现标准化,以确保安全、一致地执行任务。 回收闲置资源:由于配置管理工具及其限制等原因,有时 IaC 工具无法自动删除资源。例如,假设需要从虚拟机迁移到 PaaS 服务,而 IaC 工具没有删除闲置资源的逻辑。如果忘记手动删除这些资源,这些资源可能
当选择多AZ部署时,可配置“多可用区扩展策略”为“均衡分布”或“选择优先”: 均衡分布:云服务器扩容时优先保证选择的可用区列表中各可用区下云服务器数量均衡,当无法在目标可用区下完成云服务器扩容时,按照选择优先原则选择其他可用区。 选择优先:云服务器扩容时目标可用区的选择按照选择的可用区列表的顺序进行优先级排序。
的时长要求。 针对应用系统内薄弱环节进行增强: 当云服务SLA无法满足要求时,需要应用层进行额外的保护和增强。 通过冗余提升可用度:包括组件冗余(负载均衡集群),故障回退冗余(fail-back,例如使用DMS访问失败时暂时切换到SMN)。 父主题: 可用性目标定义
PU使用率、内存使用量、磁盘空间等。资源限制的主要目的是保证系统的稳定性,防止某些进程或应用程序占用过多的系统资源,导致其他进程或应用程序无法正常运行,甚至导致系统崩溃。 父主题: 性能规划
如果函数配置的超时时间比较长的话,且函数代码中发生异常导致阻塞,函数同步调用会等待直到超出超时时间才返回超时异常,造成业务卡顿,长时间不退出等问题,无法实现failfast,影响业务体验。建议结合业务实际场景配置超时时间,避免超时时间配置过大。 Serverless函数代码最佳实践 如果业
硬件依赖实例从应用层实现高可用:当ECS使用本地硬盘、直通FPGA、直通IB网卡等物理服务器强相关的硬件资源时,当硬件故障时会导致ECS故障,且无法通过虚拟机HA功能自动恢复;针对此类问题,需要应用系统在设计时就必须要预料到偶发故障,尽可能避免使用,若必须用时需要从应用层来实现高可用,