检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rd则其他stream上的task已经执行完成,此时可以放心地回收这个block。 Pytorch的内存统计信息说明 pytorch的内存一般看三个峰值信息:allocated / active / reserved。allocated对应host上的tensor实际申请了但是没
实施威胁建模,需要有攻击者思维,像攻击者一样思考,发现潜在的暴露面/攻击目标及可用的攻击方法,从而发现系统中潜在的安全威胁、 建立相应的消减措施。 威胁建模的一般步骤如下: 确定范围:明确要进行威胁建模的云上系统范围,包括云服务、数据存储、网络架构等。 收集信息:收集关于云上系统的信息,包括系统架构图、数据流程、访问控制策略等。
r-num”,并在此基础上,规划需要的CPU核数和内存大小。 在规划内存时,要预留一定量的内存空间作为操作系统的buffer cache,一般预留20%。 从HDFS中读入数据时,要考虑block解压缩后的数据膨胀。 规划一定的磁盘作为缓存空间,包括缓存数据、日志、Shuffle数据。
导致通信量或者处理量大辐增加,性能大辐下降。 共享资源: 采取共享资源的设计,通过协作减少争用延时从而改善整体性能;如多个进程可以从一个数据库的同一部分读取。 并行处理:当并行处理过程的增速能抵消通信开销和资源争用延迟时,执行并行处理。 分散负载原则:通过在不同时间或者不同位置处
可靠性功能 数据备份和恢复 使用CBR云备份服务可对BMS的所有云硬盘(系统盘和数据盘)进行备份,支持基于多云硬盘一致性快照技术的备份服务,并支持利用备份数据恢复裸金属服务器数据,最大限度保障用户数据的安全性和正确性,确保业务安全。详见“备份裸金属服务器”。 集群HA 配合共享云
练等主动运维活动,对现网的稳定性和可用性负责。三线聚焦解决软件版本缺陷问题。 此外也可以使用DevOps模式,由开发工程师直接运维系统,而保留一个小而精干的卓越运营使能团队,用于负责组织整体的卓越运营流程改进和相应的流程工具落地。 无论如何设立组织,应该确保具有一个整体的流程,在
可靠性功能 数据备份和恢复 使用CBR云备份服务可对ECS的备份保护服务,支持基于多云硬盘一致性快照技术的备份服务,并支持利用备份数据恢复ECS数据。详见“云备份概述”。 故障自愈 当ECS支持自动恢复时,可以开启自动恢复能力,当物理服务器损坏时以冷迁移方式重启ECS实例,使弹性
包括 CPU 主频/核数、内存容量、磁盘类型与容量、存储池类型与容量,网卡带宽等。 软件环境:软件版本与配置,如操作系统版本、服务版本、数据库版本、以及影响性能的相关配置。 4.完成测试设计 在本步骤完成前文确认的系统负载、背景数据量与需要请求的用户数据模型等测试设计。 5.执行测试
确保重要任务的完成;如果不能在可用的时间内完成所有事情,被忽略的是最不重要的任务。主要用于处理瞬时突发负载导致超出系统处理的容量的情况,一般给重要任务赋予高优先级,最重要的行为优先得到处理。只适用于暂时超载的情况,如果超载不是暂时的,需要减少处理量,或者升级系统。如在性能过载场
Reduce/Spark的执行情况针对性的进行任务的优化。 HiveMetaStore:因为Hive的MetaStore可能是外部的独立数据库,所以它的性能也会影响到整个HiveServer的性能,主要包括HiveMetaStore访问时间,访问次数,连接并发数。 MapRedu
做出明智的决策,比之纯手工流程,最大程度避免了错误。 通过可观测性进行持续改进 可观测性是指通过观察系统的外部输出,推断其内部状态的能力。一般来说,云上应用的可观测性通常使用三种核心手段,一:指标,指标是系统状态的定量度量,例如 TPS、请求延迟、调用量等。二: 日志:日志是系统
以自动故障切换和恢复业务。 相关云服务和工具 弹性云服务器 ECS 裸金属服务器 BMS 弹性负载均衡 ELB 云容器引擎 CCE 文档数据库服务 DDS 分布式缓存服务 DCS MapReduce服务 MRS 父主题: RES01 冗余
可靠性功能 集群HA CCE集群支持3个Master节点高可用部署,确保集群的可靠性。 数据备份和恢复 为满足数据持久化的需求,CCE支持将云硬盘(EVS)创建的存储卷挂载到容器的某一路径下;CCE通过云硬盘EVS服务提供针对云硬盘的快照功能,当数据丢失时,可通过快照将数据完整的恢复到快照时间点。详见“快照与备份”。
干预。关键事件监控可以使用CTS服务,或自行搭建。 CES服务支持ECS、EVS、OBS、VPC、ELB、AS等IaaS服务,以及RDS数据库,DCS、DMS等高可用中间件的主要指标监控,支持用户上报自定义监控指标。如果用户自行搭建监控系统,也可以通过CES SDK获取指定服务的监控指标。
验,包含:组织团队、设计工作负载、大规模运营工作负载和随时间变化改进工作负载的最佳实践。 应用场景 云架构治理体系建设 云平台将虚拟化、数据库与中间件、大数据与AI等技术融合业界最佳实践,以托管云服务的方式提供企业使用。随着业务上云,企业将不受限于自身的技术能力使用先进IT技术,
RES02 备份 对于应用系统中的重要数据,需要提供备份功能,以便在病毒入侵、人为误删除、软硬件故障等场景,能够快速将数据恢复到备份点。 由于容灾通常对数据采用实时复制且没有多备份点,在主数据被误删或误改的情况下,错误数据会同步到备端,从而无法达到数据备份的效果,因此通常不能使用容灾来代替备份。
问题和检查项 企业在进行应用韧性设计的过程中,推荐使用如下问题寻找自身可以改进的点,并参考检查项/最佳实践进行改进,以下所有检查项,也是最佳实践建议,将在下一章节进行详细描述。 问题 检查项/最佳实践 RES01 您如何使用冗余技术确保应用系统的高可用? 应用组件高可用部署 应用组件多位置部署
设计原则 国际标准化组织(ISO)对计算机系统安全的定义为:确保信息资产(包括硬件、软件、网络、数据等)受到保护,以确保其机密性、完整性和可用性。计算机系统安全的目标是保护信息系统免受未经授权的访问、使用、披露、破坏、修改、中断或不可用的威胁,同时确保信息系统能够持续地提供服务。
PERF01-02 应用性能编程规范 风险等级 高 关键策略 性能效率是一个系统性的工程,需要综合考虑从架构、设计、编码,到编译、运行的全过程,特别是在编码实现层面,有很多编码技巧,在不影响可读性、可维护性的前提下,提升软件性能。结合编程语言,将高性能编码最佳实践内建的规范中,将
SEC10-02 制定事件响应计划 事件响应计划(Incident Response Plan, IRP)是组织安全策略的重要组成部分,它旨在确保在安全事件发生时,能够迅速、有序地采取行动,最大限度地减少损失,并尽快恢复正常运营。 风险等级 高 关键策略 建立事件响应计划,包括定