检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据持久度 数据持久度是指数据不丢失的概率,即存储在预计周期内不出现数据丢失的概率,可以用于度量一个存储系统的可靠性。其只表示数据是否丢失的概率,不体现数据丢失多少;数据持久度的预计周期,一般按一年进行预计。 影响存储数据持久度的主要因子有:冗余数、磁盘失效率与数据修复时间。其中
系统内组件有可能完全故障,也有可能处于亚健康状态;亚健康是指系统整体业务未超标,但系统中局部实例业务超标。亚健康更多是个相对概念,相对历史表现的统计,或相对系统整体。因此针对亚健康的检测和判断有所不同。当处于亚健康状态时,系统也需要及时进行隔离或恢复处理,避免对业务造成影响。 风险等级
算法的设计和实现方式来提高其效率和性能。以下是一些最佳实践: 使用正确的数据结构:选择合适的数据结构可以大辐提高算法的效率。例如,使用哈希表可以快速查找元素,使用数组可以快速访问元素。 减少内存分配:内存分配是一个耗时的操作。可以通过预先分配内存或者重复使用已分配的内存来减少内存分配。
有的备份数据进行恢复处理。 华为云云服务提供了手工恢复功能,用户可定期执行恢复操作,以进行恢复测试。 相关云服务和工具 云备份 CBR 云数据库 RDS 分布式缓存服务 DCS 父主题: RES02 备份
同步服务时,则需要由应用层进行数据复制;如存在有状态数据的BMS实例。 相关云服务和工具 存储容灾服务 SDRS 弹性云服务器 ECS 云数据库 RDS 分布式缓存服务 DCS 对象存储服务 OBS 父主题: RES03 跨AZ容灾
数据量少,但小文件数量多:减少数据分片,在reduce算子后执行coalesce算子,以减少task数量,减少cpu负载。 使用spark sql查找一个大表,表列数较多,但是查找的列较少:尽量使用rcfile或parquet格式,减少文件读取成本,同时选择合适的压缩格式,减少内存负载。 指标观测方法
HIVE优化 概述 Hive架构 Hive提供了Hadoop的SQL能力,主要参考标准的SQL,Hive进行了部分的修改,形成了自己的特有的SQL语法HQL(Hive SQL),更加适合于Hadoop的分布式体系,该SQL目前是Hadoop体系的事实标准。 Hive调优 用户输入
优先”: 均衡分布:云服务器扩容时优先保证选择的可用区列表中各可用区下云服务器数量均衡,当无法在目标可用区下完成云服务器扩容时,按照选择优先原则选择其他可用区。 选择优先:云服务器扩容时目标可用区的选择按照选择的可用区列表的顺序进行优先级排序。 监控告警 配合CES服务,支持对弹
h代码向内存池申请内存的接口归一为tensor的申请释放(这点最开始也不是很好理解,也就是说:任何一个pytorch代码申请内存的地方,均表现为一个tensor的申请释放)。 tensor的生命周期使用类似智能指针的引用计数方式来管理,且打通了Python与C++的通道,即:一个
可靠性功能 集群HA DCS服务提供主备、Proxy集群、Cluster集群实例,通过节点冗余方式实现实例容灾,当检测到主节点故障后,快速切换到备节点并自动恢复,在异常检测和恢复期间,可能会影响业务,时间在半分钟内。 数据备份和恢复 DCS支持将当前时间点的实例缓存数据备份并存储
可靠性功能 集群HA Kafka实例通过副本冗余方式实现实例容灾,当检测到leader副本故障后,快速完成副本选主,保障Kafka实例持续提供服务。 RabbitMQ集群提供镜像队列,通过镜像在其他节点同步数据。单节点宕机时,仍可通过唯一的访问地址对外提供服务。 RocketMQ
概念表 概念 解释 机密性 确保只有授权的用户可以访问系统中的敏感信息,防止未经授权的访问和泄露。机密性通常通过加密技术来实现,包括对数据进行加密和解密的过程,确保只有授权用户能够访问和理解数据内容。 完整性 确保数据在传输和存储过程中不被篡改,保持数据的完整性,防止数据被恶意篡
云监控中心(CES) 云监控服务为用户提供一个针对弹性云服务器、带宽等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 云监控服务主要具有以下功能: 自动监控:云监控服务不需要开通,在创建弹性云服务器等资源后监控
PERF05-01 设计优化 风险等级 中 关键策略 快速通道模式 通过减少支配性工作量负载的处理量,只剩下必要的部分,来改进响应的时间。一个软件可以有多项功能,只有几个是被经常使用的,经常使用的功能构成支配性工作量负载。快速通道模式减少这些功能的处理量,或简化其处理过程。快速通
对于提供用户画像的系统应为用户提供退出用户画像分析的机制。 相关云服务和工具 数据安全中心DSC:用户可以通过DSC的预置脱敏规则,或自定义脱敏规则来对指定数据库表进行脱敏,DSC支持RDS,ECS自建数据库等云上各类场景。另外,DSC可基于扫描结果自动提供脱敏合规建议,支持一键配置脱敏规则。 数据库安全服务
云运维中心(COC) 云运维中心(Cloud Operations Center,简称COC)为用户提供安全、高效的一站式智能运维平台,满足客户集中运维诉求。承载华为云确定性运维业务场景,提供变更管理、批量运维等核心特性,实现在安全合规的前提下,提升用户运维能力成熟度和云上运维效率。COC产品介绍:
SEC01-04 分隔工作负载 分隔工作负载是一种架构上进行分治的思想,通过将整个系统的工作负载分割成更小的部分,每个部分独立运行和管理,从而提高系统的安全性和可维护性。 风险等级 高 关键策略 一个企业特别是大型企业往往有多个不同类型(如生产环境、开发环境、测试环境)或不同组织
Kafka性能优化 Kafka性能优化 优化客户端配置 生产者配置建议 可参考配置建议。 消费者配置建议 参数 推荐值 说明 max.poll.records 500 消费者一次能消费到的最大消息数量,默认为500,如果每条消息处理时间较长,建议调小该值,确保在max.poll.interval
cted架构的最佳实践会组合使用到这些云服务。我们的解决方案架构师在与客户进行沟通时,客户通常会提出以下疑问: 是否有一个全局性的视图可以表达构建安全工作负载的整体情况? 在多账号环境以及单账号环境中应该使用哪些云服务? 如何从全局到局部、自顶向下及从不同视角考虑工作负载的安全?
颈,从而大幅提升线上问题诊断的效率。目前支持JAVA、Python、Node.js、Go、Php和.Net应用,具体的应用监控能力概览如下表。 父主题: 卓越运营云服务介绍