检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准实时推理场景 本章节介绍什么是准实时推理场景,以及如何使用GPU按量实例和如何基于GPU按量实例构建使用成本较低的准实时推理服务。 特征 在准实时推理应用场景中,工作负载具有以下一个或多个特征: 调用稀疏 日均调用几次到几万次,日均GPU实际使用时长远低于6~10小时,GPU存在大量闲置
离线异步任务场景 特征 在离线异步应用场景中,工作负载具有以下一个或多个特征: 执行时间长 业务的处理耗时一般在分钟~小时级,Response Time不敏感。 提交后立即返回 在触发调用后立即得到返回,从而不因长耗时处理阻塞业务主逻辑的执行。 实时感知任务状态 无 并行处理 离线
使用专享版APIG触发器 通过应用中心创建的Stable-Diffusion应用使用的APIG触发器为共享版APIG,它的带宽等资源是所有共享版APIG用户共享的,所以如果您的业务有更高的要求,可以自行换用专享版APIG触发器。操作步骤参考如下: 购买专享版APIG实例 请参考购买实例按照您的业务需要购买相应版本的专享版
按需计费 适用场景 函数工作流使用场景广泛,例如实时文件处理、实时数据流处理、Web移动应用后端和人工智能等场景。 适用计费项 函数工作流实际费用是由请求次数费用、执行时间费用、函数流节点执行次数、GPU计量时间、磁盘计量时间、闲置内存计量时间和其他费用构成,各计费项按需计费说明请参见表
产品功能 函数管理 提供控制台管理函数。 函数支持Node.js、Java、Python、Go、PHP、Cangjie等多种运行时语言,同时支持用户自定义运行时,说明如表1所示。 建议使用相关语言的最新版本。 表1 运行时语言说明 运行时语言 支持版本 Node.js 6.10、8.10
概述 Serverless GPU是一种高度灵活、高效利用、按需分配GPU计算资源的新兴云计算服务。GPU能力Serverless化,通过提供一种按需分配的GPU计算资源,在一定范围内有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文将介绍Serverless
函数初始化入口Initializer 概述 Initializer是函数的初始化逻辑入口,不同于请求处理逻辑入口的handler,在有函数初始化的需求场景中,设置了Initializer后,FunctionGraph首先调用initializer完成函数的初始化,之后再调用handler
进阶使用 使用ECS作为NFS服务器实现多用户资源隔离 使用API模式 启用WebUI认证 多人共享模型、插件 使用专享版APIG触发器 父主题: 通过应用中心部署AI绘画Stable-Diffusion
函数支持引入的依赖库有哪些? 支持的依赖库说明 FunctionGraph支持引入标准库及第三方依赖库。 标准库 对于标准库,无论是在线编辑或是线下开发打包上传至FunctionGraph,均可以直接在代码中引入,使用其功能。 FunctionGraph支持的非标准库 FunctionGraph
模型上传与加载 将您自定义的模型上传到对应的路径下,如CheckPoint模型、VAE模型和Lora模型。 图1 CheckPoint模型 图2 VAE模型 图3 Lora模型 上传完成后回到Stable-Diffusion WebUI界面重新加载模型后即可看到新增模型,加载需要较长时间请耐心等待
开发HTTP函数 本章节通过HTTP函数部署koa框架,更多HTTP详情,请参见创建HTTP函数。 前提条件 准备一个bootstrap启动文件,作为HTTP函数的启动文件。举例如下: /opt/function/runtime/nodejs14.18/rtsp/nodejs/bin
函数开发简介 函数支持的运行时语言 FunctionGraph函数Runtime支持多种运行时语言:Python 、Node.js、Java、Go、C#、PHP、Cangjie及自定义运行时,说明如表1所示。 建议使用相关语言的最新版本。 表1 运行时说明 运行时语言 支持版本 SDK
引入依赖库 支持的依赖库说明 FunctionGraph支持引入标准库及第三方依赖库。 标准库 对于标准库,无论是在线编辑或是线下开发打包上传至FunctionGraph,均可以直接在代码中引入,使用其功能。 FunctionGraph支持的非标准库 FunctionGraph内置一些三方件
FunctionGraph最佳实践汇总 本文汇总了基于函数工作流服务(FunctionGraph)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松构建基于函数工作流的业务。 表1 FunctionGraph最佳实践一览表 最佳实践 说明 使用函数压缩图片
配置函数异步 概述 函数可以被同步或异步调用,异步调用场景下,FunctionGraph持久化请求后立即返回,不等待请求最终处理完成,用户无法实时感知请求处理结果。如果您希望异步请求处理失败后重试或者希望获取异步处理结果通知,可通过函数异步配置项进行设置。 应用场景 失败重试:用户代码异常造成的失败
使用SpringBoot构建FunctionGraph HTTP函数 方案概述 本章节主要指导使用Springboot开发应用的用户,部署业务到FunctionGraph。 用户通常可以使用SpringInitializr或者IntelliJ IDEA新建等多种方式构建SpringBoot
使用ECS作为NFS服务器实现多用户资源隔离 使用ECS作为NFS服务器实现多用户资源隔离 FunctionGraph的函数实例除了支持挂载SFS弹性文件系统外,也支持挂载ECS服务器共享出来的NFS共享路径,使用ECS更便于进行多租户的资源管理。 购买ECS服务器,其中以下几点需要注意
使用Go构建FunctionGraph HTTP函数 方案概述 本章节主要指导使用Go语言开发应用的用户,将业务部署到FunctionGraph。 由于HTTP函数本身不支持Go语言直接代码部署,因此本章节将以转换成二进制的方式为例,将Go编写的程序部署到FunctionGraph
使用Visual Studio 新增json序列化和反序列化接口,并提供HC.Serverless.Function.Common.JsonSerializer.dll 。 提供的接口如下: T Deserialize<T>(Stream ins):反序列化值传递到Function
配置单实例多并发 该特性仅FunctionGraph v2版本支持。 前提条件 已配置“单实例并发数”的存量函数,仍支持函数修改该配置,但当“单实例并发数”修改为1时,该参数后续不再支持修改。 通过“容器镜像”和“HTTP函数”方式创建的函数,“单实例并发数”默认值是1,但支持设置多并发数