检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 框架 1 Qwen-VL 7b https://huggingface.co/Qwen/Qwen-VL-Chat DeepSpeed 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作
图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。
表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface.co
参考Step4 创建pod创建pod以用于后续进行模型量化 Step2 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。
日志提示“root: XXX valid number is 0” 问题现象 日志提示“root: XXX valid number is 0”，表示训练集/验证集/测试集的有效样本量为0，例如： INFO: root: Train valid number is 0. INFO:
个人用户快速配置ModelArts访问权限 ModelArts使用过程中涉及到OBS、SWR等服务交互，需要用户配置委托授权，允许ModelArts访问这些依赖服务。如果没有授权，ModelArts的部分功能将不能正常使用。 约束与限制 只有主账号可以使用委托授权，可以为当前账号授权
参考Step4 创建pod创建pod以用于后续进行模型量化 Step2 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。
参考Step4 创建pod创建pod以用于后续进行模型量化 Step2 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。
sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward 步骤二：获取推理镜像 镜像获取命令如下。
但是建议在业务软件或训练算法中，避免频繁使用“nvidia-smi”命令功能获取相关信息，存在锁死的风险。出现D+进程后可以尝试如下方法： 方法1： 可以根据ps -aux查到的进程号， 使用kill -9强制关闭进程。
数据标注场景介绍 由于模型训练过程需要大量有标签的数据，因此在模型训练之前需对没有标签的数据添加标签。您可以通过创建单人标注作业或团队标注作业对数据进行手工标注，或对任务启动智能标注添加标签，快速完成对图片的标注操作，也可以对已标注图片修改或删除标签进行重新标注。 ModelArts
镜像地址{image_url}获取请参见表2。
“model_id”可以通过查询模型列表或者ModelArts管理控制台获取。
cd /home/ma-user/AscendCloud/AscendCloud-LLM/llm_tools/llm_evaluation/benchmark_tools conda activate python-3.9.10 获取数据集。
如何获取访问密钥AK/SK？ 如果在其他功能（例如访问模型服务等）中使用到访问密钥AK/SK认证，获取AK/SK方式请参考如何获取访问密钥章节。 如何删除已有委托列表下面的委托名称？ 图11 已有委托 需要前往统一身份认证服务IAM控制台的委托页面删除。
表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface.co
通常为了获取更好的推理性能，推荐使用方式2的离线推理。下文将以Diffusers img2img onnx pipeline为示例来讲解如何进行离线推理模式下的昇腾迁移。迁移的整体流程如下图所示： 图1 迁移流程图 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
cd /home/ma-user/AscendCloud/AscendCloud-LLM/llm_tools/llm_evaluation/benchmark_tools conda activate python-3.9.10 获取数据集。
当前支持哪种驱动版本，请从基础镜像中获取。 文件权限不足 该问题可能为自定义镜像的用户与作业容器的用户不同导致的。
在JupyterLab中使用MindInsight可视化作业 ModelArts支持在开发环境中开启MindInsight可视化工具。在开发环境中通过小数据集训练调试算法，主要目的是验证算法收敛性、检查是否有训练过程中的问题，方便用户调测。 MindInsight能可视化展现出训练过程中的标量
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
