检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表2。 硬盘空间：至少200GB。 昇腾资源规格： Ascend: 1*ascend-snt9b表示昇腾单卡
场景描述 ModelArts作为顶层服务，其部分功能依赖于其他服务的访问权限。本章节主要介绍对于IAM子账号使用ModelArts时，如何根据需要开通的功能配置子账号相应权限。 权限列表 子账号的权限，由主用户来控制，主用户通过IAM的权限配置功能设置用户组的权限，从而控制用户组内的子账号的权限
SD1.5基于Lite Server适配PyTorch NPU Finetune训练指导（6.3.904） Stable Diffusion（简称SD）是一种基于Latent Diffusion（潜在扩散）模型，应用于文生图场景。对于输入的文字，它将会通过一个文本编码器将其转换为文本嵌入
昇腾云服务6.3.905版本说明 本文档主要介绍昇腾云服务6.3.905版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com
准备代码 本教程中用到的训练、推理代码如下表所示，请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud
查询作业资源规格 功能介绍 查看指定作业类型的资源规格。 创建训练作业和预测作业需要指定资源规格。 URI GET /v1/{project_id}/job/resource-specs 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora
推理支持的AI引擎 在ModelArts创建模型时，如果使用预置镜像“从模板中选择”或“从OBS中选择”导入模型，则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像，后续统一镜像将作为主流的推理基础镜像。
SDXL基于Standard适配PyTorch NPU的Finetune训练指导（6.3.905） Stable Diffusion（简称SD）是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。SDXL Finetune是指在已经训练好的SDXL模型基础上，
常见的磁盘空间不足的问题和解决办法 该章节用于统一整体所有的常见的磁盘空间不足的问题和解决办法。减少相关问题文档的重复内容。 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下： 本地数据、文件保存将"/cache"目录空间用完
/path)/to/log') 解决方案3 存储路径设为本地路径，如cache/tensorboard，不要使用OBS路径。 问题现象4 使用pytorch中的dataloader读数据时，作业卡在读数据过程中，日志停在训练的过程中并不再更新日志。
昇腾云服务6.3.906版本说明 本文档主要介绍昇腾云服务6.3.906版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 配套关系镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com
创建DevServer 功能介绍 创建DevServer。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id
执行训练任务【旧】 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT全参微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的配置，参数详解可查看训练参数说明，其中【GBS、MBS
CogVideoX1.5 5b模型基于Lite Server适配PyTorch NPU全量训练指导（6.3.912） 本文档主要介绍如何在ModelArts的Lite Server环境中，使用NPU卡对CogVideoX模型进行全量微调。本文档中提供的脚本，是基于原生CogVideoX
分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型
日志提示"Permission denied" 问题现象 训练作业访问挂载的EFS，或者是执行.sh启动脚本时，出现如下错误： OSError: [Errno 13]Permission denied: '/xxx/xxxx' bash: /bin/ln: Permission denied
cd /usr/local && curl -k -O https://obs.cn-north-4.myhuaweicloud.com/uniagent-cn-north-4/script/agent_install.sh && bash agent_install.sh 安装成功的标志如下
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
