检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lite Cluster资源管理介绍 在ModelArts控制台，您可以对已创建的资源进行管理。通过单击资源池名称，可以进入到资源池详情页，您可以在详情页进行下述操作。 管理Lite Cluster节点：节点是容器集群组成的基本元素，您可以对资源池内单节点进行替换、删除、重置等操作。
类型type、属性properties，必须属性required 、定义definitions等，JSON Schema通过定义对象属性、类型、格式的方式来引导模型生成一个包含用户信息的JSON对象。 如果希望使用JSON Schema，guided_json的写法可参考outlines: Structured
类型type、属性properties，必需属性required 、定义definitions等，JSON Schema通过定义对象属性、类型、格式的方式来引导模型生成一个包含用户信息的JSON对象。 若希望使用JSON Schema，guided_json的写法可参考outlines: Structured
使用前必读 在调用ModelArts API之前，请确保已经充分了解ModelArts相关概念，详细信息请参见产品介绍。 ModelArts提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见如何调用API。
创建方式 选择“自定义算法”。 启动方式 选择“预置框架”，引擎选择“PyTorch”，PyTorch版本根据训练要求选择。 代码目录 选择OBS桶中训练code文件夹所在路径，例如“obs://test-modelarts/code/”。 启动文件 选择代码目录中训练作业的Pyth
出现误标情况。 文本分类对数据集的要求 文件格式要求为txt或者csv，文件大小不能超过8MB。 以换行符作为分隔符，每行数据代表一个标注对象。 文本分类目前只支持中文。 父主题： 准备数据
方式二：通过OBS Browser+将数据上传至OBS，最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。具体步骤如下： 在创建OBS桶创建的桶下创建文件夹用以存放模型，例如在桶standard-llama2-13b中创建文件夹model/llama-2-13b-hf。 利用OBS
方式二：通过OBS Browser+将数据上传至OBS，最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。具体步骤如下： 在创建OBS桶创建的桶下创建文件夹用以存放模型，例如在桶standard-llama2-13b中创建文件夹model/llama-2-13b-hf。 利用OBS
下载路径。 模型迁移到其他账号 您可以通过如下两种方式将训练的模型迁移到其他账号。 将训练好的模型下载至本地后，上传至目标账号对应区域的OBS桶中。 通过对模型存储的目标文件夹或者目标桶配置策略，授权其他账号进行读写操作。详请参见配置高级桶策略。 父主题： 查看作业详情
练输入路径参数和训练输出路径参数。这四种输入搭建了用户代码和ModelArts Standard后台交互的桥梁。 代码目录路径 您需要在OBS桶中指定代码目录，并将训练代码、依赖安装包或者预生成模型等训练所需文件上传至该代码目录下。训练作业创建完成后，ModelArts会将代码目录及其子目录下载至后台容器中。
下载完成后，将数据上传至SFS相应目录中。由于数据集过大，推荐先通过obsutil工具将数据集传到OBS桶后，再将数据集迁移至SFS。 在本机机器上运行，通过obsutil工具将本地数据集传到OBS桶。 # 将本地数据传至OBS中 # ./obsutil cp ${数据集所在的本地文件夹路径}
方式二：根据创建训练作业生成的训练作业对象查询。 job_info = job_instance.get_job_info() print(job_info) 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参考Session鉴权。
SFS（存放数据和代码）”。 多机多卡：大数据量（1T训练数据）、高算力场景（4台8卡Vnt1），存储方案使用“SFS（存放数据）+普通OBS桶（存放代码）”，采用分布式训练。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS
方式二：根据创建训练作业生成的训练作业对象终止。 job_instance.control_job() 参数说明 表1 control_job_by_id请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参考Session鉴权。
升级Standard专属资源池驱动 场景介绍 当专属资源池中的节点含有GPU/Ascend资源时，用户基于自己的业务，可能会有自定义GPU/Ascend驱动的需求，ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式：安全升级、强制升级。
Code插件创建训练作业并调试。 使用VS Code插件创建训练作业并调试功能目前是白名单，需要提交工单申请开通。 准备工作 创建OBS桶，桶名称示例：“xxx-project”，在OBS桶里创建“data”文件夹。（建议下载OBS Browser+进行相关操作）。 上传本地数据至“data”文件夹
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案，包括SFT全参微调、LoRA微调、DPO训练方案。 DPO(Direct Preference
use_ascend: 是否使用Ascend onnx_runtime_model: onnx模型对象 get_shape: 是否获取模型shape信息、输入数据shape信息 resize_shape:
String JSON Schema中表示类型的字段，可选object。 properties 否 Object JSON Schema中表示对象元素的properties字段，可在其中定义参数，包括参数名及其类型。 表11 CreateModelRequestInferParams
S（存放数据和代码）”。 多机多卡：大数据量（1T训练数据）、高算力场景（4台8卡Vnt1），存储方案推荐使用“SFS（存放数据）+普通OBS桶（存放代码）”，采用分布式训练。 当使用SFS+OBS的存储方案可以实现存储加速，该方案的端到端实践案例请参见面向AI场景使用OBS+SFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
