检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
致。此时应减少executor数量,增大数据分片。 数据量少,但小文件数量多:减少数据分片,在reduce算子后执行coalesce算子,以减少task数量,减少cpu负载。 使用spark sql查找一个大表,表列数较多,但是查找的列较少:尽量使用rcfile或parquet格
RabbitMQ性能优化 保持尽可能短的队列长度 太多的消息堆积在队列中会造成内存负载过高,为了释放内存,RabbitMQ 会把消息转存到磁盘,转存过程会耗费大量时间,造成消息处理速度下降或直接阻塞生产流程。因此队列中堆积过多的消息容易对 broker 产生负面效应。除此之外,如
能极简助力高效运维。 DDoS防护 AAD:华为云DDoS防护提供全球化服务,以应对DDoS攻击挑战,可提供毫秒级攻击响应、多维度行为分析及机器学习、防御策略自动调优,精确识别各种复杂DDoS攻击,以保护您的业务连续性。 威胁检测 Web应用防火墙 WAF:保护网站等Web应用程
故障全面检测 高可用性系统必须具有完善的故障检测能力,以确保能够快速发现那些可能导致故障的事件、显示正在发展的故障、激活的故障,以及潜在的故障的事件。在几乎所有情况下,故障检测能力都是故障恢复的前提。 RES06 故障检测 RES07 监控告警 父主题: 韧性支柱
OPS06-01 建立可观测性体系 可观测性(observability)最初是系统理论中的一个概念,指系统的状态能否被外部观察到和重现。随着云原生、微服务架构的发展,IT系统对可观测性的需求日益增强。业界对可观测性的定义:通常是指基于对复杂系统外部输出的了解,能够了解其内部状态
需要的资源。 企业制定预算时,应该伴随项目生命周期的有效跟踪,建立定期审查机制,同时根据业务情况动态调整,不断改进预算规划来更好控制成本,以确保其符合企业的实际情况。 企业应该建立紧急响应和应对计划,设计应对成本超支情况的紧急响应计划。包括明确的流程和责任人,确定接收警报并负责采
至少部署2个后端BMS。对于无状态业务,配置ELB弹性负载均衡保障业务可靠性;对于有状态业务,由应用层实现多实例高可用。 应用层进行重试,以应对暂时性故障,如网络过载时;应用故障重试处理可参考“故障重试”。 当BMS由于过载导致网络限制时,可参考“BMS的CPU /内存/磁盘容量/磁盘IOPS使用率过高”的处理。
当应用系统采用华为云服务的高可用设计时,在云服务实例发生故障后,云服务能自动检测和恢复;但对于应用系统本身的故障,需要应用系统自身进行检测和快速恢复处理,以保证系统能够正常运行,从而提高系统的可靠性和稳定性。 RES08 依赖减少与降级 RES09 故障重试 RES10 故障隔离 RES11 可靠性测试
或文档存储,可以使用源代码版本控制机制。 优先通过自动化响应事件,避免占用业务交付和创新的时间。首先构建一个可重复的流程来缓解问题,然后关注自动缓解或解决根本问题以提升效率。 华为云相关云服务和工具 云监控服务 CES 云运维中心 COC 父主题: OPS07 进行故障分析和管理
关根因都得到充分理解,尤其重要的是制定有效的标准化流程/自动化工具来降低事故再次发生的可能性和影响,这些流程和自动化工具,也需要广而告之,以向团队解释清楚缘由。 父主题: OPS01 建立持续改进的团队文化和标准化的运维体系
识别系统的潜在威胁以建立防护策略,构建安全的系统。 安全风险 安全风险是指在面临安全威胁的情况下,系统、网络或数据可能遭受损害或丧失机密性、完整性或可用性的概率和影响程度。安全风险通常由威胁的存在、系统漏洞、不恰当的安全措施或其他因素造成。安全风险通常通过风险评估来评估和管理,以确定风险的程度并采取相应的控制措施。
us、Grafana、Zabbix等,以及华为云提供的云监控服务CES。这些工具可以定期收集指标,提供可视化的指标报告,并且可以发送警报,以帮助组织及时发现问题。 可参考CES的最佳实践,https://support.huaweicloud.com/bestpractice-ces/ces_14_0002
等。 值得注意的是,成本优化不是一锤子买卖,团队对责任的接受,实施包括指标自身的完善都需要一个过程。 KPI指标应该随着阶段的演变而演变,以建立不断成功,不断进步的心态,而不是一次性推动成熟。在实施过程中,更多应该将错误视为学习和改进流程的机会,这将减少不成熟的团队和管理团队对成
能会导致应用系统长时间停在启动状态而无法响应外部消息。针对这种情况,应用系统应该先使用缺省配置启动,再检查依赖项的状态或加载最新配置数据,以恢复正常运行。 父主题: RES08 依赖减少与降级
在共享或公开数据之前,对敏感数据进行脱敏处理,防止敏感信息泄露。 数据完整性保护。通过定期备份和版本控制来保护您的数据,防止数据被篡改或删除。将关键数据与其他数据隔离,以保护其机密性和数据完整性。 确保存储了重要业务数据、敏感数据的OBS桶,配置为非公开可读,防止数据被非法访问。 制定风险管理计划:了解数据被
数据丢失,可以不做备份;此外还存在一些比较重要的数据,数据丢失的容忍程度各有不同,需要设计不同的备份策略。 针对需要备份的数据设计备份方案以满足其RPO/RTO指标要求。 父主题: RES02 备份
、团队TL、技术TL等,变更涉及的人员可根据变更的影响程度以及影响范围等因素确定。 变更执行:通过发起时确认的执行人来进行执行工作的分派,以确保执行变更的是与变更内容相关的技术人员,从而确保变更的准确执行。 变更验证:在变更完成后,对变更对象与变更内容进行检查,确保变更并未影响实际业务,检查完成后,发布变更结果。
合考虑业务的趋势。 比如一个快速增长的业务组织更多地可能会偏向于提升业务的速度,而设计一个比较宽松的云成本优化策略,而稳定的业务组织则可以以成本效率为主要考量,设计比较严格的云成本优化策略。如果应用服务于特定的地理位置或市场领域,并且您已预测出该领域会出现的对云业务使用量的降低,则提高优化频率可能会更有利于节省成本。
业务发展需要将部分业务部署到华为云时,将涉及到混合云网络互连;应用系统跨云部署时(如跨云主备容灾或双活),需要构建高可用的混合云网络连接,以减少由于网络连接中断而导致的业务中断。 云上网络之间访问:当业务系统涉及到多个部门或业务团队时,一般会使用多个VPC进行业务隔离,不同团队和
优先使用临时凭证并定期轮换凭证:定期更改账号的密码,并定期更新MFA设备。这有助于减少被猜测或盗用的风险。 启用审计日志:启用审计日志功能,以监控账号的活动。审计日志可以帮助检测异常行为并及时采取措施。 多账号管理场景:需指定一个账号作为中央账号(企业主账号),由这个账号再添加成员