正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CPU版AI引擎,运行环境为“python3.6”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在OBS上的Caffe模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。
AI应用计费项 计费说明 在ModelArts创建AI应用不收费,但在通过OBS导入模型创建AI应用时,需要先将模型包文件存放到OBS中,OBS会产生费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中,具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例,执行脚本0_pl_pretrain_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中,具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例,执行脚本 0_pl_sft_13b
填写规范,详情请参见模型配置文件编写说明。编写完成后,需将此文件上传至OBS指定目录下。 使用容器化部署,导入的元模型有大小限制,详情请参见导入AI应用对于镜像大小限制。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。 创建AI应用操作步骤 登录ModelArt
0AI引擎,运行环境为“python2.7”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在OBS上的PyTorch模型包,确保您使用的OBS目录与ModelArts在
0AI引擎,运行环境为“python3.6”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在OBS上的PyTorch模型包,确保您使用的OBS目录与ModelArts在
GPU版AI引擎,运行环境为“python2.7”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在OBS上的Caffe模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。
w保存summary可能是本地缓存,在每次触发flush时将该summary文件覆盖OBS上的原文件。当超过5GB后,由于达到了OBS单次导入文件大小的上限,导致无法继续写入。 处理方法 如果在运行训练作业的过程中出现该问题,建议处理方法如下: 推荐使用本地缓存的方式来解决,使用如下方法:
查看专属资源池磁盘信息 创建AI应用 使用大模型创建AI应用,选择从对象存储服务(OBS)中导入,需满足以下参数配置: 采用自定义引擎,开启动态加载 使用大模型要求用户使用自定义引擎,并开启动态加载的模式导入模型。用户可以制作自定义引擎,满足大模型场景下对镜像依赖包、推理框架等的特殊需求。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中,具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例,执行脚本0_pl_pretrain_13b
过5MB。 解决方案: 方法1:使用导入功能。将图片上传至OBS任意目录,通过“从OBS目录导入”方式导入到已有数据集。 方法2:使用同步数据源功能。将图片上传到数据集输入目录下(或者其子目录),单击数据集详情页中的“同步数据源”将新增图片导入。需注意的是,同步数据源同时也会将O
1 AI引擎,运行环境为“python3.6”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在OBS上的MXNet模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。
CPU版AI引擎,运行环境为“python2.7”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录那一层。 模板输入 存储在OBS上的Caffe模型包,确保您使用的OBS目录与ModelArts
GPU版AI引擎,运行环境为“python3.6”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在OBS上的Caffe模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。
搭载MindSpore AI引擎,运行环境为“python3.5”,内置输入输出模式为未定义模式,请根据模型功能或业务场景重新选择合适的输入输出模式。使用该模板导入模型时请选择到包含模型文件的model目录。 模板输入 存储在OBS上的om模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。
未定义的模式,即不定义具体的输入输出格式,请求的输入输出完全由模型决定。当现有的输入输出模式不适合模型的场景时,才考虑选择该模式。使用未定义模式导入的模型无法部署批量服务,同时服务的预测界面可能无法正常工作。 输入 不限。 输出 不限。 请求样例 未定义模式没有特定的请求样例,请求的输入输出完全由模型决定。
创建AI应用时,元模型来源指定的OBS目录下存放了自定义的文件和文件夹,都会拷贝到镜像中去。拷贝进去的路径是什么,怎么读取对应的文件或者文件夹里面的内容? 原因分析 通过OBS导入AI应用时,ModelArts会将指定的OBS目录下的所有文件和文件夹拷贝到镜像中的指定路径下,镜像内路径可以通过self.model_path获取。
图1 获取训练输出位置 单击“输出路径”,跳转至OBS对象路径,下载训练得到的模型。 在本地环境进行离线部署。 具体请参见模型调试章节在本地导入模型,参见服务调试章节,将模型离线部署在本地并使用。 父主题: 功能咨询
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中,具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例,执行脚本0_pl_lora_13b