检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Pytorch通过spawn模式创建了多个进程，每个进程会调用多进程方式使用Mox下载数据。此时子进程会不断销毁重建，Mox也就会不断的被导入，导致打印很多Mox的版本信息。 处理方法 为避免训练作业Pytorch Mox日志反复输出的问题，需要您在“启动文件”中添加如下代码，当“MOX_SILENT_MODE
rts管理控制台使用，支持导入工作流。 将订阅成功的Workflow导入至ModelArts控制台。 方式一：从Workflow详情页进入ModelArts控制台 在Workflow详情页单击“运行”，在弹出来的对话框中选择、填写图1所示信息，单击“导入”跳转至ModelArts控制台的Workflow的详情页。
更多参数填写请参见表2。 表2 数据集的详细参数 参数名称 说明 导入路径 选择需要导入数据的OBS路径，此位置会作为数据集的数据存储路径。 说明： “导入路径”不支持OBS并行文件系统下的路径，请选择OBS对象桶。 创建数据集时，此OBS路径下的数据会导入数据集，后续如果直接在OBS中修改数据，会造
信息可以参考下图查看，组织名称在“容器镜像服务>组织管理”创建。 注册镜像 在ModelArts Console上注册镜像 登录ModelArts控制台，在左侧导航栏选择“镜像管理”，进入镜像管理页面。 单击“注册镜像”，镜像源即为步骤1中推送到SWR中的镜像。请将完整的SWR地
odelArts的“AI应用管理”中准备好待发布的模型。在“AI应用管理”界面创建或发布模型的相关操作请参见管理AI应用简介。使用容器镜像导入的模型和其他训练产生的模型都支持发布至AI Gallery。 如果是发布HiLens技能，已经在HiLens技能管理中准备好待发布的技能。发布技能的相关操作请参见发布技能。
later”，同时在“日志”页签中，无任何信息。 图1 部署在线服务异常 解决方法 出现此问题现象，通常是因为您部署的模型过大导致的。解决方法如下： 精简模型，重新导入模型和部署上线。 购买专属资源池，在部署上线为在线服务时，使用专属资源池进行部署。 父主题： 服务部署
将数据预热到SFS Turbo 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 在ECS服务器挂载SFS Turbo已经将SFS Turb
import_annotations 是否自动导入输入目录下的标注信息，支持检测/图像分类/文本分类。可选值如下： true：导入输入目录下的标注信息（默认值） false：不导入输入目录下的标注信息 否 str、Placeholder import_type 导入方式。可选值如下： dir：目录导入 manifest：按manifest文件导入
自定义脚本代码示例 从OBS中导入模型文件创建模型时，模型文件包需符合ModelArts的模型包规范，推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例（包含推理代码示例）。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。
图1 获取训练输出位置 单击“输出路径”，跳转至OBS对象路径，下载训练得到的模型。 在本地环境进行离线部署。 具体请参见模型调试章节在本地导入模型，参见服务调试章节，将模型离线部署在本地并使用。 父主题： Standard推理部署
创建模型时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会复制到镜像中去。复制进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入模型时，ModelArts会将指定的OBS目录下的所有文件和文件夹复制到镜像中的指定路径下，镜像内路径可以通过self.model_path获取。
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b
时指定的profile。 注册新镜像 构建完成后，将新镜像注册到ModelArts镜像管理服务中，进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一：使用ma-cli image register命令来注册镜像。注册命令会返回注册好的镜像信息，包括镜像id
模型管理计费项 计费说明 在ModelArts创建模型不收费，但在通过OBS导入模型时，需要先将模型包文件存放到OBS中，OBS会产生费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源 对象存储OBS
镜像的API接口功能，无误后将自定义镜像上传至SWR服务。 将自定义镜像创建为模型：将上传至SWR服务的镜像导入ModelArts的模型管理。 将模型部署为在线服务：将导入的模型部署上线。 本地构建镜像 以linux x86_x64架构的主机为例，您可以购买相同规格的ECS或者应用本地已有的主机进行自定义镜像的制作。
在使用MaaS服务时，如果未配置或缺失相关权限，会出现授权相关提示，请您及时处理。如果未处理，会导致部分功能出现异常。 添加依赖服务授权 由于大模型即服务平台的数据存储、模型导入以及部署上线等功能依赖OBS、SW等服务，需获取依赖服务授权后才能正常使用相关功能。 如果您未配置依赖服务授权，MaaS控制台顶部会出现获
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
