检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 离线训练安装包准备说明 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.910）
训练引擎创建训练容器，启动训练脚本。 训练脚本启动后，调用MindSpore框架，生成混合并行策略文件strategy.proto，该文件记录了混合并行场景下，算子在NPU卡上的分布情况。 训练出现故障后，ModelArts训练组件对当前业务进程发送SIGTERM信号。
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.905）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）
addService 删除服务 service deleteService 更新服务 service updateService 启停服务 service startOrStopService 启停边缘服务节点 service startOrStopNodesService 添加用户访问密钥
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.910）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.905）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.910）
服务管理 通过 patch 操作对服务进行更新 查询服务监控信息 查询服务列表 部署服务 查询支持的服务部署规格 查询服务详情 更新服务配置 删除服务 查询专属资源池列表 查询服务事件日志 启动停止边缘节点服务实例 查询服务更新日志 添加资源标签 删除资源标签 查询推理服务标签
user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。
启动容器镜像 |──data # 原始数据目录，如使用自定义数据，参考准备数据（可选） |── tokenizers #原始权重/tokenizer目录，用户手动创建，用户根据实际规划目录修改
Lite Server资源管理 查看Lite Server服务器详情 启动或停止Lite Server服务器 同步Lite Server服务器状态 切换Lite Server服务器操作系统 监控Lite Server资源 NPU日志收集上传 释放Lite Server资源
图8 启动智能标注任务 查看智能标注任务进度 智能标注任务启动后，可以在“待确认”页签下查看智能标注任务进度。当任务完成后，即可在“待确认”页签下查看自动标注好的数据。
PyCharm ToolKit工具中Edit Credential时，出现错误 为什么无法启动训练？
00000-of-00001-a09b74b3ef9c3b56.parquet # 训练原始数据集 |── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考
00000-of-00001-a09b74b3ef9c3b56.parquet # 训练原始数据集 |── alpaca_gpt4_data.json # 微调数据文件 在ECS服务器中安装obsutil工具，具体命令可参考
表2 推理效果的指标介绍 指标名称 指标说明 CPU使用率 在推理服务启动过程中，机器的CPU占用情况。 内存使用率 在推理服务启动过程中，机器的内存占用情况。 显卡使用率 在推理服务启动过程中，机器的NPU/GPU占用情况。
非模板参数 cmd 否 String 镜像启动命令 deployment_constraints 否 deployment_constraints object 模型部署约束(tag:hc,hk) 表4 GuideDoc 参数 是否必选 参数类型 描述 doc_url 是 String
图1 获取URL 使用图形界面的软件、curl命令、Python语言等多种方式访问在线服务。可参考通过Token认证的方式访问在线服务。 父主题： 访问在线服务支持的访问通道
目前支持vllm.openai，atb的tgi模板 ├── ... ├── eval_test.py # 启动脚本，建立线程池发送请求，并汇总结果 ├── service_predict.py # 发送请求的服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
