检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
储、网络等服务,由FunctionGraph提供和管理底层计算资源,包括服务器CPU、内存、网络和其他配置/资源维护、代码部署、弹性伸缩、负载均衡、安全升级、资源运行情况监控等,用户只需要按照FunctionGraph支持的编程语言提供程序包,上传即可运行。 父主题: 通用问题
应付业务峰值的访问。 用户无需关心峰值和空闲时段的资源需要申请多少资源,系统根据请求的数量自动扩容/缩容。自动负载均衡将请求分发到函数运行实例。 同时系统会根据流量负载的模式来智能预热实例,以缓解冷启动对业务的影响。 事件触发 通过事件触发机制,集成多种云服务,满足不同场景需求,获得高效的开发体验。
实时推理场景 特征 在实时推理应用场景中,工作负载具有以下一个或多个特征: 低延迟 单次请求的处理时效性要求高,RT(Response Time)延迟要求严格,90%的长尾延时普遍在百毫秒级别。 功能优势 函数计算为实时推理工作负载提供以下功能优势: 预留GPU实例 函数计算平台
aph函数。 消息通知服务SMN 可以编写FunctionGraph函数来处理SMN的通知,在将消息发布到SMN主题时,服务可以通过将消息负载作为参数传递(SMN示例事件)来调用FunctionGraph函数,FunctionGraph函数代码可以处理事件,比如将消息发布到其他S
进程和线程数(总和) 1024 否 单个请求最大执行时长 259200秒 是 函数同步调用请求正文有效负载大小 6MB 否 函数同步调用响应正文有效负载大小 6MB 否 函数异步调用请求正文有效负载大小 256KB 否 函数导入的资源大小 zip格式压缩文件,大小50MB以内 否 单个自定义镜像函数最大允许镜像大小
本章节介绍什么是准实时推理场景,以及如何使用GPU按量实例和如何基于GPU按量实例构建使用成本较低的准实时推理服务。 特征 在准实时推理应用场景中,工作负载具有以下一个或多个特征: 调用稀疏 日均调用几次到几万次,日均GPU实际使用时长远低于6~10小时,GPU存在大量闲置。 单次处理耗时长
离线异步任务场景 特征 在离线异步应用场景中,工作负载具有以下一个或多个特征: 执行时间长 业务的处理耗时一般在分钟~小时级,Response Time不敏感。 提交后立即返回 在触发调用后立即得到返回,从而不因长耗时处理阻塞业务主逻辑的执行。 实时感知任务状态 无 并行处理 离
FunctionGraph基于特征画像与负载预测技术,提供了预留实例的智能推荐策略,使预留实例随负载模式动态变化,波峰时提前扩容,波谷时释放多余预留实例。 用户配置预留实例时,能够选择智能推荐策略,支持高性能、均衡、低成本三种选项,由系统根据用户负载模式,基于负载预测动态调整预留实例数量,适应负载的波峰波谷变
ins):反序列化值传递到Function处理程序的对象中。 Stream Serialize<T>(T value):序列化值传递到返回的响应负载中。 本例以Visual Studio 2017新建一个.NET Core2.0的“test”工程,.NET Core2.1、.NET Core3
高成本、低弹性等问题,为用户提供更加便捷、高效的GPU计算服务,有效承载AI模型推理、AI模型训练、音视频加速生产、图形图像加速等加速工作负载。 GPU函数主要使用于:仿真、模拟、科学计算、音视频、AI和图像处理等场景下,使用GPU硬件加速,从而提高业务处理效率。 表1 GPU函数规格
用户函数内部进行初始化逻辑。 函数处理请求并将结果返回。 其中1、2和3是系统层面的冷启动开销,通过对调度以及各个环节的优化,函数服务能做到负载快速增长时稳定的延时。4是函数内部初始化逻辑,属于应用层面的冷启动开销,例如深度学习场景下加载规格较大的模型、数据库场景下连接池构建、函数依赖库加载等等。
approximate_invoke_count 异步调用的执行次数。当该值大于1时,说明函数计算对您的函数进行了重试。 request_payload 请求函数的原始负载。 response_context 返回上下文。 response_context.statusCode 调用函数的返回码(系统)。当该
ins):反序列化值传递到Function处理程序的对象中。 Stream Serialize<T>(T value):序列化值传递到返回的响应负载中。 本例以.NET Core2.1创建“test”工程为例说明,.NET Core3.1、C#(.NET Core 6.0,当前仅支持华
单实例多并发处理时,修改共享变量会导致错误。这要求您在编写函数时,对于非线程安全的变量修改要进行互斥保护。 监控指标 按实际情况进行监控。 相同负载下,函数的实例数明显减少。 流控错误 不涉及 太多请求时,body中的errorcode为“FSS.0429” ,响应头中的status为429
用户函数代码更新时,系统能够保证用户函数的平滑升级,规避应用层初始化冷启动带来的性能损耗。新的函数实例启动后能够自动执行用户的初始化逻辑,在初始化完成后再处理请求。 在应用负载上升,需要增加更多函数实例时,系统能够识别函数应用层初始化的开销,更准确的计算资源伸缩的时机和所需的资源量,让请求延时更加平稳。 函数流
事件通道发布事件到事件网格。 详情请参考事件网格服务关于事件源的介绍 事件内容格式 参数“事件负载内容”的内容格式。 说明: 目前只支持application/json格式。 事件负载内容 事件内容。 事件发生主题 事件发生的主题或对象,用以标识哪个具体对象发生了当前事件 输入过滤表达式(JSONPath)