检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户创建的FDI任务，同一账号的其他用户可见吗？ FDI任务是做的用户隔离，如果没有授权，同一账号的其他用户看不到，用户要看到其他用户的任务需要通过集成应用授权。 父主题： 数据集成普通任务
VSCode远程连接时卡顿，或Python调试插件无法使用如何处理？ 问题现象 VSCode远程连接Notebook时，单击“VS Code接入”跳转至连接界面时一直卡顿，或Python调试插件无法使用。 图1 Python调试插件错误 原因分析 该问题通常由VS Code安装了第三方中文插件引起。
系统管理员的条码规则设置 条码规则设置概述 设置ID生成器 设置参数配置 父主题： MBM Space使用示例
手工排产工单 手工排产工单或调整排产。 前提条件 已登录MBM Space，且拥有“手工排产”菜单栏目的操作权限。 已建立工单与生成工单方案。 已维护产线能力配置。 注意事项 已冻结的工单不能进行手工排产操作（冻结操作在“工单冻结”页面进行）。 已排产的工单，排产调整时，排产开工时间/排产完工时间不能为空。
生产物料上载 支持对线体加工工单的批次物料、资源上载或卸载。 前提条件 已登录MBM Space，且拥有该菜单栏目的操作权限。 已维护派工看板。 已维护资源实物BOM。 已维护物料信息查询。 已维护当前登录用户的所属工厂信息。 注意事项 条码采集时，物料对应“物料信息查询”页面的
标签模板定义 以图形化界面的方式定义系统所需打印的标签信息。 前提条件 已登录MBM Space，且拥有该菜单栏目的操作权限。 注意事项 非“发布”状态的标签模板其他功能模块无法引用。 子节点（目录）下有关联模板时，该子节点不能被删除。 添加子节点 在顶部导航栏中，选择“制造数据模型管理
如何使用国际化资源插件 同一个流程，可能需要同时支持多个语言，流程元模板提供了中英文切换，能够一键切换语言，提升开发效率与开发体验。 国际化资源是应用级别的插件，在任何一个流程元模板的UI编辑页面都可以访问。 国际化只针对流程元模板中的UI编辑页面，不针对流程引擎本身。 新增国际化词条
创建空白流程服务编排 在数据发布、数据变更等流程运行过程中，用户需要通过调用流程服务API，可以将部件、BOM（Bill Of Material，物料清单）、工艺等数据传递给第三方系统，实现上下游系统之间数据同步。此时，可以通过定义流程服务编排，生成相应的流程服务API，用以后续
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表1。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
执行训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
溢出的情况，用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户的“子目录挂载”路径。如果默认没有填写，则忽略。
调优前后性能对比 在完成上一章几类调优方式之后，在单卡场景下实测性能调优比对结果如下表所示： 设备 batch_size Steps/Sec 1p-GPU A800 16 3.17 1p-NPU snt9b 313T 16 2.17 1p-NPU snt9b 313T调优后 16
训练权重转换说明 以 llama2-13b 举例，使用训练作业运行 obs_pipeline.sh 脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
常见错误原因和解决方法 显存溢出错误 网卡名称错误 保存ckpt时超时报错 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
