检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群服务部署规划 服务规模与业务容量参数配置对照表 Spark作为内存计算引擎,需要更多的内存和CPU。用户在规划规格时,应根据当前的业务容量和增长速度,规划合理的内存和CPU资源,特别需要关注以下几点: 当程序运行在yarn-client模式下时,需要关注在driver端汇聚的数据量大小
分析时,需在多个工具间需来回切换,增加了定位复杂度,且无法自定义日志上报的服务端域名,合规性受到部分用户质疑 端侧日志上报慢且易丢失:上报速度小时级,也极易出现丢失,对问题端到端定位分析、业务完整性分析均造成一定影响 业务挖掘分析难:日志数据无法直接写入DLI,需投递到Kafka后,再被DLI消费,链路长,且成本高
对于异常组件,需要能支持自动隔离,避免对整体业务造成影响。 相关云服务和工具 弹性负载均衡器 ELB:支持健康检查,会定期向后端服务器发送请求以测试其运行状态,并根据健康检查来判断后端服务器是否可用,当判断为异常后就不会将流量分发给该异常后端服务器。 云容器引擎 CCE:支持容器健康检
RES13-03 过载检测与流量控制 RES13-04 支持主动扩容 RES13-05 资源自动扩容考虑了配额限制 RES13-06 压力负载测试 父主题: 过载控制
名词解释 FinOps FinOps 是 Finance 和 DevOps 的合成词,强调 IT、财务和业务团队必须协作,将财务责任引入云,并在速度、成本和性能之间做权衡时做出数据驱动的明智决策。 CFM 华为云云财务管理(Cloud Financial Management),参考F
、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明: 高性能计算:主要是高速率、高IOPS的需求,用于作为高性能存储,比如工业设计、能源勘探这些。 容量 PiB级别 EiB级别 TiB级别
修复漏洞、替换受损系统并加固系统,确认所有威胁已经被完全清除,避免再次发生。 制定恢复策略,逐步恢复受影响服务,确保数据和系统一致性,进行测试确保所有系统恢复正常运作。 进行事件后分析,总结事件的起因、响应过程和教训。更新事件响应计划,根据经验教训进行改进。 定期审查和更新事件响应计划,以适应新的威胁和业务需求。
证书安全管理 使用托管云服务 SEC06 如何进行应用程序安全设计? 安全合规使用开源软件 建立安全编码规范 实行代码白盒检视 应用安全配置 执行渗透测试 SEC07 如何进行数据安全设计? 识别工作负载内的数据 数据保护控制 对数据操作实施监控 静态数据的加密 传输数据的加密 SEC08 如何进行数据隐私保护设计?
维护个人隐私权利,保护隐私数据的机密性和完整性。 DevSecOps DevSecOps的核心理念是将安全性纳入到整个软件开发生命周期中,从需求分析、设计、开发、测试、部署、运维、运营的每个阶段都考虑安全性,以确保系统的安全性和稳定性。 通过将安全性与DevOps的自动化流程相结合,DevSecOps可
优化资源配置: 根据性能瓶颈,调整云服务资源的配置,如 CPU 、内存、网络等。 使用缓存: 使用缓存技术,如 CDN 、 Redis 等,提高数据访问速度。 代码优化: 对云服务资源使用的代码进行优化,提高代码执行效率。 数据库优化: 对云服务资源使用的数据库进行优化,如索引优化、查询优化等。
证。 一般认为,性能问题通常由于体系架构或设计问题造成,而不是低效的编码引起的。性能问题在开发过程的早期已经引入,而大部分开发团队直到集成测试,或更晚的时候才予以考虑。实际情况并非完全如此,编码实现阶段引入的性能问题也很普遍,只是解决体系架构引起的问题代价要高得多。下面给出影响系统性能的几个因素:
此外优化的量化目标也可以包含效率的提升,例如,从传统IT架构向容器化,Serverless迈进的过程中,您不只是提升了资源利用率,同时也可以是提升了业务开发,部署的速度,从而提升了业务对市场的响应时间,以及人员的效率。这部分也应该列入量化的内容。 最后,优化的目标是使企业或者组织每一块钱的花费都能产生最大
nary)上运行;当检查到任何行为更改或错误时,可以将Canary中的流量删除,并将用户发回到以前的版本。如果部署成功,则可以继续以期望的速度进行部署,同时监控更改以便发现错误,直到所有部署完成。 蓝绿部署与金丝雀部署类似,只是会并行部署一整套应用程序,形成两套生产环境:蓝环境和
进。 企业应建立定期的云成本监控和审查机制,并根据实际情况调整和完善云成本优化策略。比如一个快速增长的业务组织更多地可能会偏向于提升业务的速度,而设计一个比较宽松的云成本优化策略,而稳定的业务组织则可以以成本效率为主要考量,设计比较严格的云成本优化策略。 企业还可以借助华为云成本
映射到Grid,并在提供灵活性的同时,弥补了Full-Mapping的不足。 Mapping代替:强制将特定key分配给特定Grid,方便测试、隔离。 进行Grid路由层设计。设计原则如下: 路由层是系统唯一的一个共享组件,因此需要尽可能的稳定,减少修改。 避免业务逻辑,保证尽可能的稳定,减少修改。
度提升业务查询效率,如使用union all代替union、join列增加非空过滤条件、not in转not exists等都可以提升查询速度。 5.GaussDB语句下推调优实践 目前,GaussDB优化器在分布式框架下制定语句的执行策略时,有三种执行计划方式:生成下推语句计划
式并行训练中的通信优化能力,在使用NPU的场景下,支持对节点之间的通信路径根据交换机实际topo做网络路由亲和规划,进而提升节点之间的通信速度。本案例介绍如何在ModelArts Lite场景下使用ranktable路由规划完成Pytorch NPU分布式训练任务,训练任务默认使用Volcano
理。上述参考架构中创建了两个OU,安全OU下面创建用于安全运营和日志审计的账号,基础设施OU下面创建用于网络运营、运维监控、公共服务和沙箱测试的账号。下表是这些IT职能账号的详细说明。 除了上述账号之外,每个组织有且仅有一个管理账号,管理账号不建议部署任何云资源,主要是做好以下管理工作: