正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义镜像使用场景 在AI业务开发以及运行的过程中,一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题,在ModelArts的AI开发最佳实践中,通过容器镜像的方式将运行环境进行固化,以这种方式不仅能够进行依赖管理,而且可以方便的完成工作环境切换
从对象存储服务(OBS)中选择元模型 针对使用常用框架完成模型开发和训练的场景,可以将您的模型导入至ModelArts中,创建为AI应用,并进行统一管理。 约束与限制 针对创建AI应用的模型,需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要求
预训练任务 配置预训练脚本llama2.sh中的超参,并执行预训练任务。 这里以Llama2-70B 8机64卡训练为例,对于Llama2-7B和Llama2-13B,操作过程与Llama2-70B相同,只需修改对应参数即可。 Step1 配置预训练超参 预训练脚本llama2.
从OBS中导入AI应用文件创建模型 针对使用常用框架完成模型开发和训练的场景,可以将您的模型导入至ModelArts中,创建为AI应用,并进行统一管理。 约束与限制 针对创建AI应用的模型,需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要求,
执行预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
部署为在线服务 AI应用准备完成后,您可以将AI应用部署为在线服务,对在线服务进行预测和调用。 约束与限制 单个用户最多可创建20个在线服务。 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的AI应用。 由于在线运行需消耗资源,确保账户未欠费。 操作步骤
在MaaS中创建模型 在模型广场选择模型后,需要使用模型创建一个自定义模型,才能进行模型训练、推理。 场景描述 基于ModelArts Studio大模型即服务平台在模型广场预置的模型模板,用户可以使用推荐的模型权重文件或自定义的模型权重文件,创建一个自己的模型。 创建成功的模型可以在ModelArts
使用AI Gallery微调大师训练模型 AI Gallery支持将模型进行微调,训练后得到更优模型。 场景描述 模型微调是深度学习中的一种重要技术,它是指在预训练好的模型基础上,通过调整部分参数,使其在特定任务上达到更好的性能。 在实际应用中,预训练模型是在大规模通用数据集上训
使用ModelArts Standard专属资源池进行单机多卡训练 操作流程 准备工作: 购买服务资源(VPC、SFS、SWR和ECS) 配置权限 创建专属资源池(打通VPC) 在ECS服务器挂载SFS Turbo存储 在ECS中设置ModelArts用户可读权限 安装和配置OBS命令行工具
分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程,有以下两阶段: Prefill阶段(全量推理) 将用户请求的prompt传入大模型,进行计算,中间结果写入KVCache并推出第1个token,属于计算密集型。