检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
attention_mask is not None # attention_mask = ~attention_mask 样例图： 父主题： 训练脚本说明
attention_mask is not None # attention_mask = ~attention_mask 样例图： 父主题： 训练脚本说明
niband驱动安装后，仍然无法使能infiniband网卡的问题，可以咨询相关运维人员以确认宿主机的实际infiniband驱动版本。 图1 下载驱动 参考如下Dockerfile中，以在容器镜像中安装infiniband驱动。 USER root # copy MLNX_OFED_LINUX-4
2、若量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
根据实际删除回收站不需要的大文件。（注：请谨慎操作，文件删除后不可恢复） rm {文件路径} 如果删除的文件夹或者文件中带有空格，需要给文件夹或文件加上单引号。如图示例： 执行如下命令，再次检查虚拟机所使用的存储空间。 cd /home/ma-user/work du -h --max-depth 0
attention_mask is not None # attention_mask = ~attention_mask 样例图： 父主题： 训练脚本说明
2、若量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
2、如果量化Deepseek-v2-236b模型，大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
设定合适的身份。 需求描述清晰：完整的上下文、任务内容要干什么和不要干什么、合理的符合标识。 指定输出结构。 给出一个示例。 返回结果如图5所示。 图5 推理结果 结果分析：分析模型的调优结果和推理结果。 推理结果的评分标准： 输出结构满足{"分类1":"xxx","分类2":"xxx"}，则格式正确，得1分。
21 GLMv4 glm4-9b https://huggingface.co/THUDM/glm-4-9b-chat 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买
调整 super().__init__(）位置：将super().__init__(）放置def __init__(）方法最底层，如下图所示。 图1 修改tokenization_baichuan.py 父主题： 准备工作
使用场景 如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明： 高性能计算：主要是高带宽的需求，用于共享文件存储，比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。
到几小时不等。训练作业执行成功后，日志信息如图1所示。 图1 1个计算节点GPU规格worker-0运行日志信息 计算节点个数选择为2，训练作业也可以运行。日志信息如图2和图3所示。 图2 2个计算节点worker-0运行日志信息 图3 2个计算节点worker-1运行日志信息 父主题：
练环境。如果已经将模型缩减到单机可运行，则只是单台GPU设备即可。 定位前的排查当前主要包含如下几个方面： 训练超参数。常见的超参如下图所示： 图1 训练超参数 模型的超参通常可能调整的主要有学习率、batch size、并行切分策略、学习率warm-up、模型参数、FA配置等。
可以通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 启动推理服务的具体操作步骤请参见启动推理服务。 父主题：
可以通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 启动推理服务的具体操作步骤请参见启动推理服务。 父主题：
发布后的资产，可通过微调大师训练模型和在线推理服务部署模型，具体可参见使用AI Gallery微调大师训练模型、使用AI Gallery在线推理服务部署模型。 图1 AI Gallery使用流程 AI Gallery也支持管理从ModelArts中发布的模型和数据集等资产，具体可参见发布数据集到AI
管理镜像文件 预览文件 在镜像详情页，选择“镜像文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在镜像详情页，选择“镜像文件”页签。单击操作列的“下载”，选择保存路径单击“确认”，即可下载文件到本地。 删除文件
传任务，导致数据缺失。 当文件状态变成“上传成功”表示数据文件成功上传至AI Gallery仓库进行托管。单击“完成”返回镜像文件页面。 图1 上传成功 文件上传过程中请耐心等待，不要关闭当前上传页面，关闭页面会中断上传进程。 父主题： 发布和管理AI Gallery镜像
"alpaca_gpt4_data": { "file_name": "alpaca_gpt4_data.json" }, 样例截图： 父主题： 准备工作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
