检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
障对整体系统功能的影响减到最小。如所依赖的数据丢失时，应用程序仍能运行，但可以提供稍微陈旧的数据、替代数据，甚至没有数据，应用仍处于可预测和可恢复的状态。 避免启动依赖及循环依赖。若应用系统由于某些原因导致重启时，若依赖于其他依赖项启动或加载关键配置数据，可能会导致应用系统长时间
提供冗余、隔离、降级、弹性等能力；并通过故障注入测试（FIT）验证可靠可用方案的有效性，最大程度提高业务的可靠性和可用性。 对于某些故障，即使通过各种技术手段进行冗余和自动恢复处理，但仍会导致业务中断，需要人工干预，如备份恢复或灾难恢复处理，因此需要建立高效的故障应急恢复处理流程
可靠性功能 集群HA CCE集群支持3个Master节点高可用部署，确保集群的可靠性。 数据备份和恢复 为满足数据持久化的需求，CCE支持将云硬盘（EVS）创建的存储卷挂载到容器的某一路径下；CCE通过云硬盘EVS服务提供针对云硬盘的快照功能，当数据丢失时，可通过快照将数据完整的恢复到快照时间点。详见“快照与备份”。
稳定性和可用性负责。三线聚焦解决软件版本缺陷问题。 此外也可以使用DevOps模式，由开发工程师直接运维系统，而保留一个小而精干的卓越运营使能团队，用于负责组织整体的卓越运营流程改进和相应的流程工具落地。 无论如何设立组织，应该确保具有一个整体的流程，在流程中的每个团队和成员都有自己明确的责任。
等部件进行界面展示和时序对齐。 1、业务监控 以下4个黄金指标，是针对大量分布式监控的经验总结，可以作为业务监控的参考，包括： 延迟：注意需要区分请求成功的延迟和请求失败的延迟。 流量：对系统业务负荷的监控。 错误率：注意区分显示失败（如HTTP 500错误）和隐式失败（如HTTP
软件更新采用金丝雀或蓝绿部署，部署过程自动完成，在部署过程中出现问题时自动回滚。 应急恢复处理 制定应急处理机制，指定应急恢复人员，以便在突发事件后能快速决策和恢复；并提供常见应用、数据库问题以及升级部署失败的相关解决方案，以便在出现问题后可以及时恢复；定期进行演练，及时发现问题。 根据以上方案，典型部署架构如下：
OPS08-02 进行事故复盘和改进 事故分析的目的是：规范和指导重大事故发生后，优化事故的输入、输出，确保事故回溯工作有效开展，回溯报告中发现的问题有效整改，总结的经验有效推广。 风险等级 高 关键策略 故障发生后，通过对现网重大故障处理过程 Review 及根因进行分析和改进总结，规范整个
值或状态异常时告警。 弹性扩缩容 支持自动弹性伸缩；针对ECS，通过ELB实现ECS实例的故障检测与负载均衡，并可通过AS监控负载随时添加和移除ECS实例来扩展应用系统的服务能力；针对RDS for MySQL，可根据负载监控情况，自动扩缩规格或增删只读节点。 变更防差错 软件更
软件更新采用金丝雀或蓝绿部署，部署过程自动完成，在部署过程中出现问题时自动回滚。 应急恢复处理 制定应急处理机制，指定应急恢复人员，以便在突发事件后能快速决策和恢复；并提供常见应用、数据库问题以及升级部署失败的相关解决方案，以便在出现问题后可以及时恢复；定期进行演练，及时发现问题。 根据以上方案，典型部署架构如下：
成本中心是华为云免费向用户提供的云财务管理服务，可帮助您收集华为云成本和使用量的相关信息、探索和分析华为云成本使用情况、监控和跟踪华为云成本，及时了解云支出的趋势和动因，减少异常支出，持续成本优化。 费用中心为您提供财务信息、发票、合同、续费、退订和变更等服务，有助于更好的了解您的消费信息。同时费用
码时，持续集成过程就开始了。理想情况下，集成过程会根据多个基线和测试来验证代码。然后，它向提交者提供有关这些测试状态的反馈。如果基线检查和测试进展顺利，集成过程将生成并暂存部署更新软件的资产。这些资产包括编译的代码和容器映像。 持续集成可以通过执行以下操作更快地交付高质量的软件：
SEC05-05 证书安全管理 证书的常见用途包括传输数据的加密和系统间的身份认证场景。集中管理每个证书的用途、有效期等信息，并及时对证书替换。 风险等级 中 关键策略 集中管理证书： 建立中心化的证书管理系统，用于存储、跟踪和管理所有证书。 确保每个证书都有清晰的标识，包括用途、所有者、有效期等信息。
在设计网络拓扑时，仔细检查每个组件的连接要求，例如是否需要互联网可访问性（入站和出站）、连接到VPC的能力、边缘服务和外部数据中心等。除非资源必须接收来自公网的网络流量，否则不要将资源放置在VPC的公有子网中。 对于入站和出站流量，应采用深度防御方法。例如对入站流量进行入侵检测、防范恶意的
Trace是一系列因果相关的分布式事件的表示，这些事件编码了流经分布式系统的端到端请求流。 风险等级 高 关键策略 当系统出现问题时，需要能够追踪系统中每个组件的行为和交互情况。通过在系统中实现分布式跟踪，可以快速定位问题并进行有效的故障排除。 设计建议 链路跟踪可以通过在系统中添加跟踪标识符来实现。当请求
软件更新采用金丝雀或蓝绿部署，部署过程自动完成，在部署过程中出现问题时自动回滚。 应急恢复处理 制定应急处理机制，指定应急恢复人员，以便在突发事件后能快速决策和恢复；并提供常见应用、数据库问题以及升级部署失败的相关解决方案，以便在出现问题后可以及时恢复；定期进行演练，及时发现问题。 根据以上方案，典型部署架构如下：
PC之间同时部署DC专线和VPN两条网络链路，互为主备，并通过企业路由器，可以实现DC和VPN主备链路的自动切换，不需要手工切换双联路，不仅避免业务受损，同时降低维护成本。具体的方案参见“通过企业路由器构建DC/VPN双联路主备混合云组网”。 相关云服务和工具 云专线 DC 虚拟专用网络
RES15-04 灰度部署和升级 原地升级和回滚时，升级和回滚过程中业务将会中断，中断时长受限于升级和回滚的时长，对业务影响比较大；而采用灰度部署和升级，可减少升级和回滚过程中的业务中断，提升系统可用性。 风险等级 高 关键策略 通过金丝雀部署、蓝绿部署等方式实现灰度升级或部署，
略。 企业还可以借助华为云成本中心提供的云成本管理工具和平台来实现自动化的成本监控和优化。 节省和优化，使用不同的计费模式，资源优化和架构优化 云支出的主要影响因素是费率和用量，结合云化业务模型和成本数据分析，可以使用不同的优化措施。从费率上，云服务存在按需、包年包月、资源包、竞
VS磁盘；若必须使用时，则建议使用RAID提升本地盘的可用性，并从应用层实现高可用，以便在一个实例故障时，应用可以自动故障切换和恢复业务。 相关云服务和工具 弹性云服务器 ECS 裸金属服务器 BMS 弹性负载均衡 ELB 云容器引擎 CCE 文档数据库服务 DDS 分布式缓存服务
根据需要进行更新和调整。持续改进是一个持久的过程。 文档和分享：将复盘的结果和改进措施进行文档化，并与团队内部分享。这有助于确保所有人都能从中学习，并避免类似的错误再次发生。 培训和意识提升：通过培训和意识提升活动，确保团队成员了解安全事件复盘的重要性，并能够积极参与其中。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
