检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
蓝军从第三方角度发掘各类脆弱点,并向业务所依赖的各种软硬件注入故障,不断验证业务系统的可靠性;而红军则需要按照预先定义的故障响应和应急流程进行处置。 演练结束后,建议针对故障中的发现、响应、恢复三个阶段的时长和操作内容进行复盘,并梳理改进点进行优化,提升业务系统的稳定性。 父主题: RES11 可靠性测试
PERF02-02 容量规划 风险等级 中 关键策略 容量规划指根据业务需求和系统性能,包括用户数量、并发请求量、响应时间要求等,以此规划和配置系统所需的资源。容量规划对于任何组织来说都非常重要,有效的容量规划可以确保有足够的资源来满足预期的需求,同时避免浪费资源。 收集容量数据
或按需定价)。使用成本管理工具中的建议对工作负载执行分析,并对这些建议应用业务规则以实现高回报。 相关服务和工具 为提高成本效率,华为云根据您过去的使用情况,为您提供多项计费模式的优化建议,帮助您在不改变资源性能的情况下,通过调整计费模式来节省成本。您可以重点关注高节省低风险的节省建议(“预计月度节省”高且“盈亏平衡时间”短)
core数量,增加executor个数,同事增加partition个数。 任务容易出现内存溢出:部分数据分片较大,单个task处理数据过大,或者executor中并行度不足,单个task内存不足导致。此时应减少executor数量,增大数据分片。 数据量少,但小文件数量多:减少数
没有网络访问场景的,不建议配置VPC。 参考配置网络。 超时时间 如果函数配置的超时时间比较长的话,且函数代码中发生异常导致阻塞,函数同步调用会等待直到超出超时时间才返回超时异常,造成业务卡顿,长时间不退出等问题,无法实现failfast,影响业务体验。建议结合业务实际场景配置超时时间,避免超时时间配置过大。
的安全策略和事件响应指令也可以统一下发给其他账号。为了保护该账号下开通的云服务,我们建议在该账号下开通相关的安全云服务,见下表最右边的列: 账号名称 履行的职能 责任团队 建议开通的云服务 建议开通的安全云服务 管理账号 针对整个企业进行统一组织和账号管理、统一财务管理、统一控制策略管理和统一身份权限管理
检测:通过AOM监控CCE节点的CPU/内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率。 恢复: 根据业务情况,手工变更节点规格或增加节点数量。 CCE工作负载的CPU /内存/GPU/GPU缓存使用率过高 检测:通过AOM监控CCE工作负载的CPU/内存/GPU/GPU缓存使用率。
问题和检查项 在迈向卓越运营的过程中,推荐使用如下问题寻找自身可以改进的点,并参考检查项/最佳实践进行改进,以下所有的检查项,也是最佳实践建议,将在下一章节进行详细描述。 问题 检查项/最佳实践 OPS01 您是否已经建立持续改进的团队文化和标准化运维体系? 1. 建立持续学习和改进的文化
避方案和已知错误,来降低故障再次发生的可能性和影响。通过有效的问题管理运作,促进产品质量的不断完善,提升产品的质量稳定性,降低产品现网故障数量。 产品可用度评审流程(Product Readiness Review):对于您云上业务是否在产品环境有问题的审查,以确定产品/应用已做好产品发布准备,在运维阶段是否有问题。
/内存/磁盘/带宽使用率过高 检测:通过CES监控CPU /内存/磁盘/带宽使用率。 恢复: 当CPU/内存使用高时,可根据业务情况,手工修改代理规格或增加代理数量以扩展资源。 当磁盘使用率高时,可根据业务情况,修改实例存储空间支持更大存储空间。 当带宽使用率高时,可根据业务情况,变更规格以支持更大带宽。
问题和检查项 企业在进行应用韧性设计的过程中,推荐使用如下问题寻找自身可以改进的点,并参考检查项/最佳实践进行改进,以下所有检查项,也是最佳实践建议,将在下一章节进行详细描述。 问题 检查项/最佳实践 RES01 您如何使用冗余技术确保应用系统的高可用? 应用组件高可用部署 应用组件多位置部署
问题和检查项 在企业进行成本优化的过程中,推荐使用如下问题寻找自身可以改进的点,并参考检查项/最佳实践进行改进,以下所有的检查项,也是最佳实践建议,将在下一章节进行详细描述。 问题 检查项/最佳实践 COST01 您是否按照成本优化的需求,规划了相应的组织机构和流程? 1. 规划企业组织,将组织结构,流程和成本管理相匹配
作。压力测试强调在极端情况下系统的稳定性。 容量测试:指在一定的软件、硬件及网络环境下,构造不同数量级别的测试数据及记录,运行一种或多种业务,在一定虚拟用户数量的情况下,获取不同数量级别的硬件设备或云服务性能指标,以确定业务系统的最佳容量和最大容量。 并发测试:测试多个用户同时访
应用层进行过载保护,保障优先业务的运行。 连接后端云数据库 TaurusDB失败 检测:连接失败。 恢复: 应用层进行重试,以应对暂时性故障,如云数据库 TaurusDB实例正在进行主备切换时;应用故障重试处理可参考“故障重试”。 当云数据库 TaurusDB实例由于过载导致网络限制时,可参考“RDS的CPU
通过配置安全组和网络访问控制列表(ACL),控制进出云资源的网络流量,确保只有授权的流量能够访问特定的服务和端口。根据业务实际情况优化每个网络区域的ACL,并保证访问控制规则数量最小化。 避免暴露多余的公网IP,同时不应对外开放或未最小化开放高危端口、远程管理端口。 安全组仅开放业务所需的网段及端口,禁止设置成对所有IP(0
RDS云数据库 云数据库RDS(Relational Database Service,简称RDS)是一种基于云计算平台的稳定可靠、弹性伸缩、便捷管理的在线云数据库服务。 可靠性功能 常见故障模式 父主题: 云服务可靠性介绍
RocketMQ服务提供了多个维度定义规格,如资源规格、代理个数、存储容量、单个代理TPS、单个代理Topic数上限、单个代理消费组数上限等,建议根据不同版本涉及的具体规格情况选择合适的RocketMQ服务。 详细版本与对应支持规格参数请参考官方文档。 父主题: 选择合适的应用中间件云服务资源
当系统某个单元发生故障时,如果不采取措施,故障可能会大规模扩散,从而造成整个系统失效。故障隔离技术的核心思想是将一个工作负载内的故障影响限制于有限数量的组件内,降低故障影响范围,防止产生级联故障。 通过划分故障隔离域,限制工作负载的影响,可有效进行故障隔离。 RES10-01 应用控制平面与数据平面隔离
版本选择:RabbitMQ服务版本随时间更迭,选择版本时需注意查看不同版本状态与区分,详情可参考官方公告。 规格选择:RabbitMQ服务提供了不同规格实例可供选择,建议按照业务需求对比,选择合适的规格型号,具体实例规格请参考官方文档。 父主题: 选择合适的应用中间件云服务资源
应用系统本身。韧性设计的目标不是试图防止这些故障的发生,而是为了在这些故障发生时,能最大程度地减轻故障对系统造成的影响,并持续稳定地运行,建议遵循以下设计原则。 高可用设计 单点故障会导致整个系统崩溃、主要功能受到影响、任务延误的系统轻度损坏或存在较大的故障隐患,因此系统的高可用设计非常关键。