检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用spark sql查找一个大表,表列数较多,但是查找的列较少:尽量使用rcfile或parquet格式,减少文件读取成本,同时选择合适的压缩格式,减少内存负载。 指标观测方法 性能衡量指标包括吞吐量、资源利用率、伸缩性。 吞吐量:在相同资源环境下,执行相同计算任务,查看任务的完成速度
吞吐量:在相同资源环境下,执行相同计算任务,查看任务的完成速度。 资源利用率:执行计算任务,查看在不同负载情况下,CPU、内存、网络的使用率。 伸缩性: − 横向扩容带来的性能提升曲线:增加资源,执行相同计算任务,查看性能提升比率。 − 增加系统负担带来的性能下降曲线:在相同资源环境下,增加计算负载,查看性能下降比率。
被删除时使用备份数据快速恢复。 ECS实例使用本地盘时本地盘故障 检测:应用层检测本地盘运行状态。 恢复:应用层采用RAID实现ECS内硬盘高可用,并实现跨ECS的数据复制与高可用,以便在本地盘故障时业务可快速恢复。建议非必须使用本地盘场景,尽可能使用EVS云硬盘,以提升硬盘的可靠性。
数据快速恢复。 BMS实例物理服务器或本地盘故障 检测:应用层检测物理服务器和本地盘运行状态 恢复:应用层采用RAID实现BMS内硬盘高可用,并实现跨BMS的数据复制与高可用,以便在物理服务器或本地盘故障时业务可快速恢复。建议非必须使用本地盘场景,尽可能使用EVS云硬盘,以提升硬盘的可靠性。
否能自动恢复。 对于依赖特殊资源的ECS,如本地盘、直通FPGA卡、直通IB卡等,不支持故障自动恢复,针对此类ECS需要检查是否可以替换为不依赖于这些特殊资源的ECS,以提高ECS的可用性。 对于ECS、BMS、MRS等实例,在使用本地盘时,由于磁盘存在使用寿命上的限制,长时间使
以下是常用的性能优化指导原则: 中心化原则:识别支配性工作量负载功能,并使其处理过程最小化,把注意力集中在对性能影响最大的部分进行提升。 本地化原则:选择靠近的活动、功能和结果的资源;避免通过间接的方式去达到目的,导致通信量或者处理量大辐增加,性能大辐下降。 共享资源: 采取共享
OPS03-01 推行开发者测试 风险等级 高 关键策略 开发者测试是现代软件工程中非常重要的一环,一般而言,开发者的测试代码可以在本地,或者构建阶段反复多次执行,依赖低,也是在软件系统运维之前成本最低的发现软件问题的方式,尤其是各种异常场景或者用户输入,开发者测试的过程实际上“
在本步骤完成前文确认的系统负载、背景数据量与需要请求的用户数据模型等测试设计。 5.执行测试 使用所选的测试工具进行性能测试,测试涉及查看和记录性能指标、监控运行情况以及查看出现的任何性能问题,同时监控和收集性能指标,例如响应时间、吞吐量、CPU和内存利用率以及其他相关指标。 使用定义的测试方
使用云堡垒机服务CBH识别并拦截数据库高危命令。CBH提供数据库控制策略功能,用户可设置预置命令执行策略,动态识别并拦截高危命令(包括删库、修改关键信息、查看敏感信息等),中断数据库运维会话。同时自动生成数据库授权工单,发送给管理员进行二次审批授权。 相关云服务和工具 数据库安全服务 DBSS 云堡垒机
弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。 可靠性功能 常见故障模式 父主题: 云服务可靠性介绍
幅提升管理效率。 财务独立模式下,企业主子各自管理各自账号下的成本,包括成本分析、预算跟踪、异常监控、成本建议等。如果企业子向企业主授权了查看消费信息,则企业主也可以统一分析企业主+企业子的成本。 父主题: COST01 规划成本优化相应的组织机构和流程
SDK获取指定服务的监控指标。 AOM服务提供了微服务应用和节点的关键指标监控能力。云容器工作负载关键指标在CSE服务中查看。函数服务关键指标在FunctionGraph控制台中查看。 3、资源监控 资源监控通常用于识别资源瓶颈分析系统性能问题。对应用系统资源进行监控时,需要先定义资源的关键
华为云提供了通用的预算管理工具,您可以根据企业实际规划的预算,用预算管理工具跟踪起来,并可以设置细粒度的过滤条件,精细化跟踪具体产品、团队、项目的成本。 除了在成本中心查看预算进展外,您还可以为指定预算设置预算提醒,当实际使用或预测使用达到提醒阈值时,及时接收系统发出的短信或邮件预警,从而及时采取下一步措施。
将大多数场合在一起使用的功能组合在一起,以减少调用的交互次数。 本模式要求将组合调用居多的一些子功能,合并起来使用。聚合这个模式要求尽量将相关或紧耦合的功能放到一个对象中,使用本地接口,避免在外部接口或重开销的接口(如CORBA接口),呈现小粒度对象。聚合模式使用更粗粒度的对象,经常被访问的数据应当组合成一个聚合物,
互联网客户推荐业务,存储容量缓慢线性增加,计算突发需求大,峰值计算资源消耗是低谷时几十倍,无法弹性使用计算资源。使用对象存储代替HDFS/本地盘,计算存储分离,多种计算组件独立部署,计算和存储各自按需使用,避免绑定性浪费,结构化降本30%。 父主题: COST08 进行架构优化
、镜像服务(IMS)等服务集成,可以通过密钥管理服务(KMS)管理这些服务的密钥,并对云服务中的数据进行加密,还可以通过KMS API完成本地数据的加密。 父主题: SEC07 通用数据安全
华为云中网络高可用主要涉及三个场景: 公有云网络:构建应用系统相关的公网网络连接的高可用,可减少由于网络连接中断而导致的业务中断。 混合云网络:对于自建本地数据中心(IDC)或使用其他云的用户,基于业务发展需要将部分业务部署到华为云时,将涉及到混合云网络互连;应用系统跨云部署时(如跨云主备容灾
应用身份管理服务 OneAccess:为云提供的应用身份管理服务,具备集中式的身份管理、认证和授权能力,保证企业用户根据权限访问受信任的云端和本地应用系统,并对异常访问行为进行有效防范。 资源治理中心 RGC:提供搭建安全、可扩展的多账号环境并持续治理的能力。 资源访问管理 RAM:
变化。管理层&财务等利益相关人诉求变化,他们可能会对更细粒度的提出请求,定期和利益相关人确定并更新规范。 相关服务和工具 企业可在成本中心查看可分配成本比例,并通过该指标诊断标签覆盖率和牵引企业内部治理标签。 企业可通过成本中心、TMS、云服务控制台来识别和治理未打标签资源,标签Key&value错误
中断,需要应用系统具备链接中断重试的功能。 由于外部流量突发导致业务过载,需要应用系统具备流量控制的能力。 部分强依赖于硬件的负载,如依赖本地硬盘、GPU等,由于硬件故障导致服务中断,需要应用系统自身构建高可用的能力。 不同的应用系统,可用性要求可能不同,采用的韧性恢复方案会有差异。