检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GPU函数概述 Serverless GPU是一种高度灵活、高效利用、按需分配GPU计算资源的新兴云计算服务。GPU能力Serverless化,通过提供一种按需分配的GPU计算资源,在一定范围内有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文将介绍Serverless
创建GPU函数 GPU函数概述 自定义镜像方式创建GPU函数 定制运行时方式创建GPU函数 父主题: 创建函数
PU”,配置GPU参数。 表1 GPU参数说明 参数名称 说明 GPU卡型 当前仅支持NVIDIA-T4。 GPU规格(GB) 支持1~16GB。 图1 启用GPU 父主题: 创建GPU函数
定制运行时函数创建完成后,在函数代码配置页面,选择“设置->常规设置”,单击“启用GPU”,配置GPU参数。 表1 GPU参数说明 参数名称 说明 GPU卡型 当前仅支持NVIDIA-T4。 GPU规格(GB) 支持1~16GB。 图1 启用GPU 父主题: 创建GPU函数
进阶使用:使用专享版APIG触发器提升性能 应用场景 通过应用中心部署的Stable Diffusion应用使用的APIG触发器为共享版APIG,其带宽等资源由所有共享版APIG用户共同使用。因此,若业务使用需求高,建议将函数触发器改用为专享版APIG触发器,专享版与共享版APIG的具体差异可参考产品规格差异说明。
引入initializer接口: 分离初始化逻辑和请求处理逻辑,程序逻辑更清晰,让用户更易写出结构良好,性能更优的代码。 用户函数代码更新时,系统能够保证用户函数的平滑升级,规避应用层初始化冷启动带来的性能损耗。新的函数实例启动后能够自动执行用户的初始化逻辑,在初始化完成后再处理请求。 在应用负
粒度向上取整计算。 节点执行次数费用(函数流) 函数流中除开始、结束和异常分支节点外,其他节点都要统计执行次数计费。 GPU计量时间费用 根据您配置函数的GPU规格和函数执行时长计费,输入值必须在0GB到10GB之间,执行时长的计量粒度是1毫秒。 磁盘计量时间费用 根据您配置函数
* 每千次单价。 具体请求次数单价详情请参考价格详情。 GPU计量时间费用 根据您配置函数的GPU规格和函数执行时长计费,输入值必须在0GB到10GB之间,执行时长的计量粒度是1毫秒。 按需计费 函数计算资源消耗公式:函数GPU大小(GB) * 执行时长(秒)。执行时长的计量粒度是
dll、.so、.a等依赖库。 搭建EulerOS环境 EulerOS是基于开源技术的企业级Linux操作系统软件,具备高安全性、高可扩展性、高性能等技术特性,能够满足客户IT基础设施和云计算服务等多业务场景需求。此处推荐Huawei Cloud EulerOS。 在华为云购买一台Eu
本案例提供了实现提取告警日志功能的程序包,使用空白模板创建函数,用户可以下载(fss_examples_logstore_warning.zip)学习使用。 创建功能函数 创建实现日志提取功能的函数,将示例代码包上传。创建过程请参考创建函数,运行时语言选择“Python2.7”,委托名称
构建程序 本例提供了为文件加/解密的程序包,使用空白模板创建函数,用户可以使用示例代码学习使用。 创建程序包 本例使用Java8语言实现加/解密的功能,有关函数开发的过程请参考Java函数开发。本例不再介绍业务功能实现的代码,样例代码目录如图1所示。 图1 样例代码目录 其中Fi
构建程序 本案例提供了实现告警日志功能的程序包,使用空白模板创建函数,用户可以下载(index.zip)学习使用。 创建功能函数 创建实现日志提取功能的函数,将示例代码包上传。创建过程请参考创建函数,运行时语言选择“Python2.7”,委托名称选择创建委托中的“serverless_trust”。
构建程序 本例提供了为图片打水印功能的程序包,使用空白模板创建函数,用户可以下载(watermark.zip)学习使用。 创建程序包 本例使用Python语言实现为图片打水印的功能,有关函数开发的过程请参考Python函数开发。本例不再介绍业务功能实现的代码,样例代码目录如图1所示。
等项目均为社区开源项目,关于开源项目的问题还需用户到开源社区寻求帮助或者自行解决,华为云仅提供算力支持。 本实践仅作为简易示例供用户参考和学习,如需应用于实际生产环境,请参考镜像构建工程自行完善和优化。使用过程中遇到的函数工作流问题,可通过提交工单进行咨询。 本应用部署后会为您创
FunctionGraph支持基于进程级快照的冷启动加速方案,用户无需额外付费,只需进行简单的配置、少量的代码修改,即可享受到该方案带来的冷启动性能提升。 当用户的Java函数启用快照式冷启动后,FunctionGraph会预先执行函数对应的初始化代码,获取其初始化执行上下文环境的快照
标准模式面向普通的业务场景,支持长时间任务,支持执行历史持久化和查询,只支持异步调用,在函数流运行记录页面查询执行结果。 快速模式面向业务执行时长较短,需要极致性能的场景,只支持流程执行时长低于5分钟的场景,不支持执行历史持久化(比如不支持查询执行节点的历史信息),支持同步和异步调用。通过同步执行函数
FunctionGraph支持的编程语言说明 创建空白函数 使用函数模板创建函数 使用容器镜像创建函数 使用Terraform创建函数 创建GPU函数
修改自定义运行时函数GPU配置,将GPU显存设置为1GB,内存大小设置为4GB。 PUT https://{Endpoint}/v2/{project_id}/fgs/functions/{function_urn}/config { "func_name" : "test_GPU",
量,用户需要为此付费,计费方式与函数的调用处理一致。 一般场景下,多个请求处理可以共享的业务逻辑适合放到初始化函数,以降低函数时延,例如深度学习场景下加载规格较大的模型、数据库场景下连接池构建。 约束与限制 函数初始化入口需要和函数执行入口在同一文件下。 开启函数初始化功能后,各
其中1、2和3是系统层面的冷启动开销,通过对调度以及各个环节的优化,函数服务能做到负载快速增长时稳定的延时。4是函数内部初始化逻辑,属于应用层面的冷启动开销,例如深度学习场景下加载规格较大的模型、数据库场景下连接池构建、函数依赖库加载等等。 为了减小应用层冷启动对延时的影响,FunctionGraph推出