检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作实例，方便调试。 预置镜像支持功能开发：基于ModelArts预置镜像进行依赖安装配置后，保存为自定义镜像，能直接在ModelArts用于训练作业。 开发环境预置镜像分为X86和ARM两类： 表1 X86预置镜像列表 引擎类型 镜像名称 PyTorch pytorch1.8-cuda10
上传镜像前需要创建组织，创建步骤请参考创建组织。 购买对象存储服务OBS 对象存储服务提供按需计费和包年包月两种计费模式，用户可以根据实际需求购买OBS服务。OBS服务支持以下两种存储方式，单机单卡场景使用文件系统，多机多卡场景使用普通OBS桶。 创建普通OBS桶 创建并行文件系统 购买数据加密服务DEW
Framework模块是一个基础公共组件，可用于访问OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。 MoXing Framework模块提供了OBS中常见的数据文件操作，如读写、列举、创建文件夹、查询、移动、复制、删除等。
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像，用户可以基于这些基础镜像构建自定义镜像，用于部署推理服务。 X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
包年/包月是一种先付费再使用的计费模式，适用于对资源需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式，您可以预先购买云服务资源并获得一定程度的价格优惠。本文将介绍ModelArts资源包年/包月的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求
否 String 存储路径。 如果type为“obs”类型，该值必须填写，该值需为有效的OBS桶路径，且以“/”结束。不能指定为OBS桶的根目录，需指定为OBS桶下的具体目录。 如果type为“obsfs”类型，该值需为有效的OBS并行文件系统的桶名（当前CCE不支持挂载子目录）。
训练专属预置镜像列表 ModelArts平台提供了Tensorflow，PyTorch，MindSpore等常用深度学习任务的基础镜像，镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时，您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
“结果处理方式”：“更新属性到当前样本中”，或者“保存到对象存储服务（OBS）”。 “属性名称”：当选择“更新属性到当前样本中”时，需输入一个属性名称。 “结果存储目录”：当选择“保存到对象存储服务（OBS）”时，需指定一个用于存储的OBS路径。 “高级特征选项”：启用此功能后，可选择“
ModelArts预置镜像更新说明 本章节提供了ModelArts预置镜像的变更说明 ，比如依赖包的变化，方便用户感知镜像能力的差异，减少镜像使用问题。 统一镜像更新说明 表1 统一镜像更新说明 镜像名称 更新时间 更新说明 mindspore_2.3.0-cann_8.0.rc1-py_3
从OBS目录导入数据到数据集 前提条件 已存在创建完成的数据集。 准备需要导入的数据，具体可参见从OBS目录导入数据规范说明。 需导入的数据，已存储至OBS中。Manifest文件也需要存储至OBS。详细指导请参见创建OBS桶用于ModelArts存储数据。 确保数据存储的OBS桶
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
path String 存储路径。 如果type为“obs”类型，该值必须填写，该值需为有效的OBS桶路径，且以“/”结束。不能指定为OBS桶的根目录，需指定为OBS桶下的具体目录。 如果type为“obsfs”类型，该值需为有效的OBS并行文件系统的桶名（当前CCE不支持挂载子目录）。
您可以通过如下两种方式将训练的模型迁移到其他账号。 将训练好的模型下载至本地后，上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略，授权其他账号进行读写操作。详请参见配置高级桶策略。 父主题： 查看作业详情
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
DEW密钥管理服务 当子用户使用ModelArts Notebook的SSH远程功能时，需要配置子用户密钥管理服务的使用权限。 OBS对象存储服务 具有对象存储服务（OBS）查看桶列表、获取桶元数据、列举桶内对象、查询桶位置、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限。
多>停止”，停止该服务。 图7 停止服务 清除OBS中的数据。 在控制台左侧导航栏的服务列表，选择“对象存储服务OBS”，进入OBS服务详情页面。 在左侧导航栏选择“桶列表”，在列表详情，找到自己创建的OBS桶，单击桶名称，进入OBS桶详情。 在桶的详情页，左侧导航栏选择“对象”
多>停止”，停止该服务。 图7 停止服务 清除OBS中的数据。 在控制台左侧导航栏的服务列表，选择“对象存储服务OBS”，进入OBS服务详情页面。 在左侧导航栏选择“桶列表”，在列表详情，找到自己创建的OBS桶，单击桶名称，进入OBS桶详情。 在桶的详情页，左侧导航栏选择“对象”
ModelArts上传数据集收费吗？ ModelArts中的数据集管理、标注等操作不收费，但是由于数据集存储在OBS中，因此会根据您使用的OBS桶进行收费。建议您前往OBS服务，了解OBS计费详情，创建相应的OBS桶用于存储ModelArts使用的数据。 父主题： 计费相关
# 定义输入的OBS对象 obs_data = wf.data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory") # 通过JobStep来定义一个训练节点，并将训练结果输出到OBS job_step
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
