检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink
本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下： 建议使用OBSutil作为和OBS交互的工具，如何在本机安装obsutil可以参考obsutil安装和配置。 训练数据、代码、模型下载。（本地使用硬盘挂载或者docker
上传数据至OBS（首次使用时需要） 前提条件 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节，构建容器镜像并调试，镜像构建及调试与单机单卡相同。 上传镜像，参考单机单卡训练的上传镜像章节操作。
给子账号配置文件夹级的SFS Turbo访问权限 场景描述 本文介绍如何配置文件夹级的SFS Turbo访问权限，实现在ModelArts中访问挂载的SFS Turbo时，只允许子账号访问特定的SFS Turbo文件夹内容。 给子账号配置文件夹级的SFS Turbo访问权限为白名单功能，如果有试用需求，请提工单申请权限。
ModelArts平台是否支持多模型导入？ ModelArts平台从对象存储服务（OBS）中导入模型包适用于单模型场景。 如果有多模型复合场景，推荐使用自定义镜像方式，通过从容器镜像（SWR）中选择元模型的方式创建模型部署服务。 制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。
e_job_version有值且对应的训练作业有评测结果时会返回该结果。 apis String 模型所有的apis入参出参信息。 表2 params结构 参数 参数类型 描述 url String api代表的url路径。 param_name String 参数名，不超过64个字符。
传到哪里？ 针对这个问题，有两种情况： 如果您创建的Notebook使用OBS存储实例时 单击“upload”后，数据将直接上传到该Notebook实例对应的OBS路径下，即创建Notebook时指定的OBS路径。 如果您创建的Notebook使用EVS存储实例时 单击“uplo
新训练如未解决则执行下一步。 - ZeRO-0 数据分布到不同的NPU - ZeRO-1 Optimizer States分布到不同的NPU - ZeRO-2 Optimizer States、Gradient分布到不同的NPU - ZeRO-3 Optimizer States、Gradient、Model
本地PC使用ModelArts SDK时，需要进行Session鉴权。鉴权方式可参考如下认证方式，选择其中一种方式进行认证即可。 用户名密码认证模式： 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户AK-SK认证模式： 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。
通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 问题现象 用户通过OBS导入模型时，选择使用基础镜像，用户自己编写了部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在“在线服务”的日志中查看到部分内容。
微调指令的模板 self.prompter 将数据集中 instruction、input、output 关键字的内容进行拼接，并用于训练。拼接方式如下，其中 {instruction}、{input}、{output} 分别对应数据集中 instruction、input、output
微调指令的模板 self.prompter 将数据集中 instruction、input、output 关键字的内容进行拼接，并用于训练。拼接方式如下，其中 {instruction}、{input}、{output} 分别对应数据集中 instruction、input、output
在使用MaaS服务时，需要先完成OBS桶、资源池等准备工作。 准备OBS桶 在ModelArts Studio大模型即服务平台创建自定义模型、调优或压缩模型时，需要在对象存储服务OBS中创建OBS桶，用于存放模型权重文件、训练数据集或者是存放永久保存的日志。 创建OBS桶和上传文件的操作指导请参见OBS控制台快速入门。
查询数据集的团队标注任务列表 功能介绍 查询数据集的团队标注任务列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/da
获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/ #OBS桶名称和文件目录可以自定义创建，此处仅为举例。
获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/ #OBS桶名称和文件目录可以自定义创建，此处仅为举例。
微调指令的模板 self.prompter 将数据集中 instruction、input、output 关键字的内容进行拼接，并用于训练。拼接方式如下，其中 {instruction}、{input}、{output} 分别对应数据集中 instruction、input、output
适用于已经自建AI开发平台，仅有算力需求的用户，提供高性价比的AI算力，并预装主流AI开发套件以及自研的加速插件。 ModelArts Lite-Cluster 面向k8s资源型用户，提供k8s原生接口，用户可以直接操作资源池中的节点和k8s集群。 适用于已经自建AI开发平台，仅有算力需求的用户。要求用户具备k8s基础知识和技能。
使用的OBS桶，单击桶名称进入概览页。 确保此OBS桶的加密功能关闭。如果此OBS桶为加密桶，可单击“默认加密”选项进行修改。 图1 OBS桶是否加密 确保归档数据直读功能关闭 进入OBS管理控制台，选择当前自动学习项目使用的OBS桶，单击桶名称进入概览页。 确保此OBS桶的归档
设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。设置为“数据集”时，需填写“数据集名称”和“数据集版本”；设置为“OBS目录”时，需填写正确的OBS路径。 图3 输入输出设置-数据集 图4 输入输出设置-OBS目录 确认参数填写无误后，单击“创建”，完成数据处理任务的创建。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
