检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
├── evaluators ├── evaluator.py # 数据集数据预处理方法集 ├── model.py # 发送请求的模块，在这里修改请求响应。目前支持vllm.openai，atb的tgi模板
Lite的基础功能和用法。 图2 ResNet50模型迁移到Ascend上进行推理 Stable Diffusion模型迁移到Ascend上进行推理：介绍如何将Stable Diffusion模型通过MSLite进行转换后，迁移在昇腾设备上运行。 图3 Stable Diffusion模型迁移到Ascend上进行推理
性能。 LoRA微调LoRA(Low-Rank Adaptation)：微调是一种用于调整大型预训练模型的高效微调技术。 这种方法主要针对如何在保持模型大部分参数固定的同时，通过引入少量可训练参数来调整模型以适应特定任务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
imported_sub_sample_count Long 已导入的子样本数量。 processor_task_id String 预处理任务ID。 processor_task_status Integer 预处理任务状态。 status String 导入任务的当前状态。可选值如下： QUEUING：排队中 STARTING：开始执行
的套餐包。 ModelArts提供了AI全流程开发的套餐包，面向有AI基础的开发者，提供机器学习和深度学习的算法开发及部署全功能，包含数据处理、模型开发、模型训练、模型管理和模型部署流程。 约束限制 套餐包在购买和使用时的限制如下： 套餐包和购买时选定的区域绑定，套餐包只能使用于
原因2：NCCL_SOCKET_IFNAME设置错误。当用户的NCCL版本低于2.14时，则需要手动设置NCCL_SOCKET_IFNAME环境变量。 处理方法 针对原因1，需要在代码中补充如下环境变量。 import os os.environ["NCCL_IB_TC"] = "128" os
alpaca_gpt4_data.json # 微调数据文件 注意：多机情况下，只有在rank_0节点进行数据预处理，转换权重等工作，所以原始数据集和原始权重，包括保存结果路径，都应该在共享目录下。 父主题： 准备工作
otebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模
previous_version_id String 父版本ID。 processor_task_id String 旋转裁剪等预处理任务ID。 processor_task_status Integer 旋转裁剪等预处理任务状态。当前可选值如下： 0：初始化 1：运行中 2：完成 3：失败 4：停止 5：超时 6：删除失败
训练作业排队失败 训练作业开始运行 训练作业运行成功 训练作业运行失败 训练作业被抢占 系统检测到您的作业疑似卡死，请及时前往作业详情界面查看并处理 训练作业已重启 训练作业已被手动终止 训练作业已被终止（最大运行时长：xh） 训练作业已被手动删除 计费信息同步结束 [worker-0]
USER_PROCESSED_DATA_DIR /home/ma-user/ws/process_data 【可选】如已有预处理完成数据可指定此目录，训练过程中会优先加载此目录，跳过数据预处理过程；默认无此参数。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/llm_tr
USER_PROCESSED_DATA_DIR /home/ma-user/ws/process_data 【可选】如已有预处理完成数据可指定此目录，训练过程中会优先加载此目录，跳过数据预处理过程；默认无此参数。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/llm_tr
创建预训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
创建SFT全参微调训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
odelArts推理在线服务的监控数据，最后可配置告警规则实现实时告警通知。 业务运行阶段，先将业务系统对接在线服务请求，然后进行业务逻辑处理和监控设置。 图1 推理服务的端到端运维流程图 整个运维过程会对服务请求失败和资源占用过高的场景进行监控，当超过阈值时发送告警通知。 图2
创建LoRA微调训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendSpeed;
问题8：使用autoAWQ进行qwen-7b模型量化时报错TypeError: 'NoneType' object is not subscriptable 解决办法：修改qwen-7b权重路径下modeling_qwen.py第39行为SUPPORT_FP16 = True 父主题： 主流开源大模型基于Lite
0（最多支持2位小数，小数点后第3位做四舍五入处理）。 memory Integer 内存，单位为MB，仅支持整数。 cpu Float CPU核数，支持配置小数，输入值不能小于0.01（最多支持2位小数，小数点后第3位做四舍五入处理）。 ascend_a310 Integer
部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址
SDK支持安装在Windows和Linux操作系统中。 如果在Windows上安装ModelArts SDK时出现报错，可参见FAQ：安装ModelArts SDK报错处理报错。 步骤一：下载ModelArts SDK 下载ModelArts SDK软件包，获取最新版本的ModelArts SDK软件包。 （可选）完成软件包签名校验。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
