检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
search-trials/{trial_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。
Pytorch Mox日志反复输出 问题现象 ModelArts训练作业算法来源选用常用框架的Pytorch引擎，在训练作业运行时Pytorch Mox日志会每个epoch都打印Mox版本，具体日志如下： INFO:root:Using MoXing-v1.13.0-de803ac9
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源，请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务（Object
SD WebUI推理性能测试 以下性能测试数据仅供参考。 开启Flash Attention 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(64GB)，约耗时7.5秒。 图1 生成图片耗时（1） 生成1280x1280图片，使用Ascend: 1*
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 状态码：200 表3 响应Body参数
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 状态码：200 表4 响应Body参数
镜像保存时报错“The container size (xG) is greater than the threshold (25G)”如何解决？ 问题现象 镜像保存时报错“The container size (30G) is greater than the threshold
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源，请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务（Object
eagle投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的
eagle 投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip
的高性能表现，让客户能够更加聚焦于业务逻辑与创新应用的设计。 资源易获取，按需收费，按需扩缩，支撑故障快恢与断点续训 企业在具体使用大模型接入企业应用系统的时候，不仅要考虑模型体验情况，还需要考虑模型具体的精度效果，和实际应用成本。 MaaS提供灵活的模型开发能力，同时基于昇腾云
{workflow_id}/executions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数
导入模型提示模型或镜像大小超过限制 问题现象 在导入模型时，提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入，则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入，则是解压后镜像和镜像下载文件的大小总和超过了限制。
无法执行相关GPU命令，只能尝试释放D+进程。 处理方法 “nvidia-smi”是一个NVIDIA GPU监视器命令行工具，用于查看GPU的使用情况和性能指标，可以帮助用户进行GPU优化和故障排除。 但是建议在业务软件或训练算法中，避免频繁使用“nvidia-smi”命令功能获取相关信息，存在锁死的风险。出现D+进程后可以尝试如下方法：
如何将在ModelArts中训练好的模型下载或迁移到其他账号？ 通过训练作业训练好的模型可以下载，然后将下载的模型上传存储至其他账号对应区域的OBS中。 获取模型下载路径 登录ModelArts管理控制台，在左侧导航栏中选择“模型训练 > 训练作业”，进入“训练作业”列表。 在训练作业列表中，单击目标训练作业名称，查看该作业的详情。
计费示例 以下案例中出现的资源规格和费用价格仅供参考，实际价格请参见各服务价格详情。 示例：使用按需计费的专属资源池。计费项：计算资源费用 假设用户于2023年4月1日10:00:00创建了一个按需计费的专属资源池，并在2023年5月1日10:00:00删除此专属资源池。资源池规格为CPU:
日志提示“No space left on device” 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时，有些节点的docker base size配置未生效，容器内“/”根目录空间未
使用Msprobe工具分析偏差 观察上一章Loss趋势，在首个Step有较小偏差，所以对第一个Step进行比对分析。此处使用Msprobe的整网Dump和比对分析功能。 首先安装社区Msprobe工具，命令如下： pip install mindstudio-probe 使能工具
下载或读取文件报错，提示超时、无剩余空间 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时，有些节点的docker base size配置未生效，容器内“/”根目录空间未达到50GB，只有默认的10GB，导致作业训练失败。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
