检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark的特点如下: 通过分布式内存计算和DAG(无回路有向图)执行引擎提升数据处理能力,比MapReduce性能高10倍到100倍。 提供多种语言开发接口(Scala/Java/Python),并且提供几十种高度抽象算子,可以很方便构建分布式的数据处理应用。 结合SQL、Streaming、
行检测的过程,确定模块功能是否满足设计的需求。当产品系统的功能发生故障时,对外的呈现即为功能输出和预期不一致。在产品上线之前,通过功能相应接口,开发者和测试人员需要多次检测以保证模块功能的正确性。功能检测可以使用传统日志跟踪技术、调用链技术来进行检测,如华为云APM。 业务检测:
弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。 可靠性功能 常见故障模式 父主题: 云服务可靠性介绍
中断,需要应用系统具备链接中断重试的功能。 由于外部流量突发导致业务过载,需要应用系统具备流量控制的能力。 部分强依赖于硬件的负载,如依赖本地硬盘、GPU等,由于硬件故障导致服务中断,需要应用系统自身构建高可用的能力。 不同的应用系统,可用性要求可能不同,采用的韧性恢复方案会有差异。
安全事件记录及分析 在发生安全事件之前,可以考虑构建取证能力来支持安全事件调查工作。记录攻击和异常行为并对其分析:应在关键网络节点处(例如内外网的交界处、ELB流量转发处等)检测、防止或限制网络攻击行为;应采取技术措施对采集的安全日志进行持续监控和分析,实现对网络攻击特别是新型网络攻击行为和异常行为的识别和分析。
CPU 和内存造成较高的负担,RabbitMQ management 接口的响应速度也会受到影响。 自动为临时队列分配队列名 如果使用临时队列(包括排他队列、自动删除队列、非持久化队列),可以调用不带参数的接口queueDeclare()让 RabbitMQ 自动为你分配一个队列名。
华为云中网络高可用主要涉及三个场景: 公有云网络:构建应用系统相关的公网网络连接的高可用,可减少由于网络连接中断而导致的业务中断。 混合云网络:对于自建本地数据中心(IDC)或使用其他云的用户,基于业务发展需要将部分业务部署到华为云时,将涉及到混合云网络互连;应用系统跨云部署时(如跨云主备容灾
接入层:主要包括用户的连接性能,如网络速度、认证、连接并发数。 HiveServer:以SQL的优化为主,执行计划是SQL优化的主要手段,通过接口查看Hive对整个SQL语句是如何进行任务的分解和编排,并结合MapReduce/Spark的执行情况针对性的进行任务的优化。 HiveM
GeminiDB Mongo接口:GeminiDB Mongo 接口是一款基于华为自研的计算存储分离架构,兼容MongoDB生态的云原生NoSQL数据库。具有企业级性能、灵活弹性、高可靠、可视化管理等特点,广泛应用于游戏应用等场景。 GeminiDB HBase接口:GeminiDB H
Kafka性能优化 Kafka性能优化 优化客户端配置 生产者配置建议 可参考配置建议。 消费者配置建议 参数 推荐值 说明 max.poll.records 500 消费者一次能消费到的最大消息数量,默认为500,如果每条消息处理时间较长,建议调小该值,确保在max.poll.interval
建议(“预计月度节省”高且“盈亏平衡时间”短) 按需转包年包月成本优化评估:自动识别客户长期按需使用的资源(比如ECS、EVS、RDS、ELB、SFS Turbo),生成按需转包年包月的优化建议和节省评估。 资源包购买建议:自动分析客户按需资源消耗和华为云在售资源包商品(比如OB
DEW:DEW与OBS、云硬盘(EVS)、镜像服务(IMS)等服务集成,可以通过密钥管理服务(KMS)管理这些服务的密钥,并对云服务中的数据进行加密,还可以通过KMS API完成本地数据的加密。 父主题: SEC07 通用数据安全
raph函数执行何种逻辑。 策略: 正确的使用连接池,保持连接存活并重用在上一次调用中建立的连接(HTTP,数据库、redis等)。 通过接口调用FunctionGraph函数时,建议客户端维护http连接池,减少http连接初始化时间。 避免在每次调用时重新初始化变量对象(使用全局静态变量、单例等)。
库。用CMDB来追踪资产(例如产品、系统、软体、设备、人员)的状态,例如这些资产在特定的时间点是否存在,以及各资产之间的关系,并通过公开的接口支持IT管理各种业务数据消费。 MTTR MTTR(Mean Time to Repair)平均恢复时长,平均修复时间指从故障发生到验证确认故障恢复的耗时。MTTR
应用身份管理服务 OneAccess:为云提供的应用身份管理服务,具备集中式的身份管理、认证和授权能力,保证企业用户根据权限访问受信任的云端和本地应用系统,并对异常访问行为进行有效防范。 资源治理中心 RGC:提供搭建安全、可扩展的多账号环境并持续治理的能力。 资源访问管理 RAM:
RES09-01 API及命令调用需要设计为可重试 在进行重试处理时,API及命令调用会重复发送,服务方会多次重复执行,需要保证重复执行多次的结果不变。 风险等级 高 关键策略 应用系统在设计时,应使操作具有幂等性,也就是允许一个操作连续执行两次或多次时,应该与单次调用产生的结果
Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pi
OPS03-01 推行开发者测试 风险等级 高 关键策略 开发者测试是现代软件工程中非常重要的一环,一般而言,开发者的测试代码可以在本地,或者构建阶段反复多次执行,依赖低,也是在软件系统运维之前成本最低的发现软件问题的方式,尤其是各种异常场景或者用户输入,开发者测试的过程实际上“
检测:生产消息失败 恢复: 应用层进行重试,以应对暂时性故障;应用故障重试处理可参考“故障重试”。 当多次重试后仍无法写入成功,可将数据写入本地缓存,待服务可用后再写入实例。 当实例由于过载导致网络限制时,可参考“CPU /内存/带宽使用率过高”的处理。 父主题: DMS分布式消息服务
故障快速定位。 在查询后的调用链列表中,单击待查看的调用链的链接,查看该调用链基本信息。 调用链详情页面可以查看调用链的完整链路信息,包含本地方法堆栈和相关远程调用的调用关系。 调用链与日志关联,提高用户体验。用户可以从调用链直接跳转LTS查看日志。 父主题: RES07 监控告警