众多AI创新者反馈,构建AIGC应用时常遇这些挑战
众多AI创新者反馈,构建AIGC应用时常遇这些挑战
模型开发/定制门槛高
大模型应用是一个模型、数据、代码集成的新型应用。 开发一个完整的大模型应用既需要利用多样化的AI原生技术又需要强大的工程能力,并将它们充分整合,开发门槛高
底层资源管理工作量
从物理机、虚拟机到容器,测试、开发环境的安装部署周期长,消耗宝贵的算法工程的精力
应用运行成本高
AI应用底层异构资源成本高,特别是业务流量面临波峰波谷时,在波谷周期浪费大量资源,资源利用率低
应用周边组件管理
除了核心业务后端,研发还需要关注整体应用架构部署,涉及安全、网络等众多应用组件,导致整体产品上市周期延长
故障后的定位、定界、恢复
缺少一站式的大屏来监控应用实时运行情况,缺少智能告警、自动恢复措施
计算资源的高峰需求
AI模型往往需要大量的计算资源,特别是在处理大规模数据集训练和推理时,需要极强的弹性和极快的启动速度面对流量洪峰,AI应用能否高可用高性能的稳定运行?传统服务器可能难以应对瞬时的高负载
如何简单化应用运维
AI原生技术种类繁多,难以快速集成,构建和部署模型涉及复杂的流程,并且后端服务运维往往需要大量日志、跟踪定位是哪个服务出问题的效率较低
隐私安全挑战
AIGC技术面临的隐私安全问题包括数据泄露、数据滥用、算法偏见等风险
华为云Serverless如何低成本极简创建AI应用?
Serverless 函数工作流 FunctionGraph:八大关键能力,助力一键创建AI应用
Serverless 函数工作流 FunctionGraph:八大关键能力,助力一键创建AI应用
低学习成本
• 无需关注底层基础设施
• 主流AI开发框架集成
• 预置函数模板
异构资源调度,“0”闲置
• 毫秒级扩缩容
• 预留实例智能推荐
可视化编排
• 多模型聚合、拆解
• 企业应用0改造对接大模型
极致冷启动
• 独创Snapshot技术,冷启动<200ms
• GB级模型秒级响应
丰富的语言、运行时和触发器
• 8+ 主流开发语言支持
• 20+ 种触发方式
应用一键构建,“0”门槛
• 应用一键构建,大模型触手可及
• 全托管,免运维
全栈可观测
• 端到端全链路压测
• 50+监控指标,全语言调用链
边缘部署
• 边缘流量近场处理,低时延
• 云边协同统一运维管理
Serverless 都可以应用在哪些AI场景?
Serverless 都可以应用在哪些AI场景?
游戏场景图片生成
-
1、游戏场景创作 2、游戏角色设计
3、游戏道具设计 4、游戏UI设计
-
如:某游戏平台使用Serverless一键创建AI画图应用Stable Diffusion,批量生成游戏场景图、游戏海报等。
教育、绘本、插画图片生成
-
1、教学资源制作 2、虚拟教学助手
3、教学视频制作 4、教学游戏开发
-
如:某教育公司使用Serverless一键创建AI画图应用Stable Diffusion,批量生成插画、儿童绘本图片、宣传海报等。
电商图片生成
-
1、电商模特生成 2、商品图片生成
3、虚拟试衣间 4、商品视频制作
-
如:某教育公司使用Serverless免费一键创建AI画图应用ComfyUI+Flux版,批量生成插画、儿童绘本图片、宣传海报等。
广告、营销、设计行业图片生成
-
1、个性化营销 2、内容审核
3、服装设计 4、广告创意
-
如:某教育公司使用Serverless免费一键创建AI画图应用ComfyUI版,批量生成服装设计、广告图片等。AI对话-ChatGLM3生成营销咨询等。
客户案例
华为云 Stable Diffusion案例: 低成本构建文生图应用,实现AI绘图
某在线游戏平台:为全球用户提供优质精彩的游戏、娱乐及服务。产品涵盖数十款棋牌类手游(斗地主、捕鱼、象棋等)及休闲类手游。
客户诉求
• 素材库精修
• 人物道具设计
• 海量游戏海报生成
• 设计师减少工作量,提高效率
• 业务按需使用、无需提前部署
客户价值
• 一键部署、便于操作,免运维;20分钟完成了文生图应用的业务部署
• 按需使用,根据调用次数收费,无请求不计费;客户每天生成3000+图片,实际使用GPU时间仅3.47小时,节省85%+资源成本
华为云Serverless,赋能丰图科技AI推理成本锐减30%,可靠性翻倍
丰图科技(深圳)有限公司 源于顺丰科技地理信息研发中心,最早负责构建物流场景的工业级地图、支撑顺丰集团的数字化转型。
目前丰图科技已经搭建了智慧护航平台和丰图智行平台,为物流企业提供货运安全监管和风控服务。由于将大量计算部署在了云端,如何节约算力、实现降本增效也十分重要。丰图科技利用华为云函数工作流FunctionGraph实现了推理算法事件驱动、 设备自检算法、 同时无需运维计算资源,使团队只需要关注业务本身,从而可以更好的控制使用成本。
华为云解决方案
驾驶辅助智能硬件、智慧交通监督平台、7*24小时运营支撑,实现三位一体安全驾驶
丰图科技还通过驾驶辅助智能硬件、智慧交通监督平台、7*24小时运营支撑,实现了三位一体的安全驾驶解决方案。并以安全云平台为核心,通过风险预测、实时干预、事故调查表、统计报表等方式,结合驾驶辅助硬件、设备算法迭代,系统自动报警实用技术,大大降低了商用车安全事故,保障了司机的每一次安全驾驶。
引入了DMS疲劳检测,高危等级风险事件召回率提升32%
针对长途货运司机容易疲劳驾驶的问题,丰图科技的安全驾驶解决方案引入了DMS疲劳检测,支持云端DMS告警补偿和告警清洗,自动检测驾驶员疲劳、分心、吸烟打电话、摄像头被遮挡等行为。基于精简版ResNet图像分类,对摄像头状态判断准确率达到99%。能够减少40%以上的无效告警和10%左右的护航人力投入,高危等级风险事件召回率提升32%。
实践效果
节约算力及成本,GPU最小1/16粒度配置,按使用量计费
利用华为云函数工作流FunctionGraph实现了推力算法事件驱动,全自动按请求并发量弹性计算实例,保障了资源的按需使用;GPU最小1/16粒度配置,按使用量计费,从而避免了昂贵算力的资源限制。同时FunctionGraph不需要运维计算资源,只需要关注业务本身,从而可以更好的控制使用成本。
实现设备自检算法,减少运维工作量
通过华为云FunctionGraph实现设备自检算法,设备自检业务流程中,将图片计算的部分使用GPU资源的工作放在FunctionGraph中完成。并利用FunctionGraph自带的监控日志系统观察,减少了运维工作量。全自动弹性实例也更容易应对业务量变化带来的资源需求的波动,提高了业务稳定性。
成本降低30%,可靠性则提升至100%
华为云FunctionGraph是根据函数调用次数、活跃/闲置内存以及GPU使用量进行收费,粒度到1ms级别,只在函数被调用时计费。华为云FunctionGraph助力丰图科技成本降低30%,可靠性提升100%。
华为云Serverless常见问题解答
华为云Serverless常见问题解答
游戏素材复杂精细,例如角色姿势是否自然、细节是否清晰、光照是否合理等都需要很多的考量,影响整体游戏的制作周期
云端算力资源可弹性扩展,中低配置物理终端也可执行大型游戏美术生成任务。
美术在游戏开发过程中占比高,尤其是在临近项目上线时,美术团队的人数,可以占到整体的一半以上
AI绘画任务随时执行,降低人力成本,云端AI绘画根据创建应用时的调用次数收费,无请求不计费。
公司业务对GPU强依赖,而昂贵的GPU算力成为制约业务发展的瓶颈。急需解决算力成本问题
华为云支持多函数实例共享显卡,会根据选择的显存大小进行算力和显存隔离,vGPU可细粒度灵活组合(1/20 GPU分片),毫秒粒度计费。提升GPU硬件资源的利用率并降低成本。
绘图应用响应延迟缓慢,客户提一个画图需求,应用要加载近1分钟才能响应
预热基础异构函数实例:提前初始化设备和依赖库,设备初始化时延降低至0ms。
模型加载和计算pipeline化:模型按Layer分批加载,并根据用户SLA和模型推理时延历史数据,构建最优pipeline, 降低参数加载和模型推理总时延。
GPU资源利用率低:业务事件触发,非长稳运行,训练算法运行仅需1/4张GPU卡,采用预置容器实例绑定一张卡的方式资源利用率底,价格高
FunctionGraph全自动按业务请求量弹性实例,无请求无费用。
华为云Serverless精选文章推荐
华为云Serverless精选文章推荐
华为云Serverless应用中心,一键构建AI绘图应用
华为云Serverless应用中心,提供了大量应用模板,让用户能够一键部署函数和周边依赖资源,节省部署时间,快速上手将应用部署到华为云函数计算FunctionGraph,并一键开通周边依赖资源。
全域Serverless+AI,华为云加速大模型应用开发
为了更好的支撑AIGC应用,华为云提供了全域Serverless能力,推出了CCE Autopilot、FunctionGraph、CAE等Serverless产品,将一系列的AI原生技术构筑成后端服务,形成BaaS for AI能力,调用即可得。结合完善的工具链,帮忙企业快速构建应用。
基于Serverless技术的AIGC应用探究
随着人工智能与图形计算的融合,AIGC(Artificial Intelligence and Graphics Computing)技术的发展已经成为当今科技领域的热点之一。
华为云全域Serverless技术创新:全球首创通用Serverless平台被ACM SIGCOMM录用
华为云全域Serverless化背后的“基石”——元戎,中稿全球顶尖学术会议ACM SIGCOMM 2024。
汇聚行业实践,树立应用典范——《Serverless应用实践案例集》重磅发布
2024年可信云大会·云原生与大模型云服务分论坛在京成功召开。会上正式发布了 《Serverless应用实践案例集》。