检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用LLama-Factory模板Sharegpt数据集 MBS 1 表示流水线并行中一个micro batch所处理的样本量。在流水线并行中，为了减少气泡时间，会将一个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS
String 训练作业一级状态。可选值如下： Creating：创建中 Pending：等待中 Running：运行中 Failed：运行失败 Completed：已完成 Terminating：停止中 Terminated：已停止 Abnormal：异常 secondary_phase
“algorithm”的“inputs”和“outputs”填写训练作业输入输出管道的具体信息。实例中“inputs”中“remote”下的“obs_url”表示从OBS桶中选择训练数据的OBS路径。实例中“outputs”中“remote”下的“obs_url”表示上传训练输出至指定OBS路径。 “s
1_preprocess_data.sh 、2_convert_mg_hf.sh 中的具体python指令运行。本代码中有许多环境变量的设置，在下面的指导步骤中，会展开进行详细的解释。 如果用户希望自定义参数进行训练，可直接编辑对应模型的训练脚本，可编辑参数以及详细介绍如下。以下参数
1_preprocess_data.sh 、2_convert_mg_hf.sh 中的具体python指令运行。本代码中有许多环境变量的设置，在下面的指导步骤中，会展开进行详细的解释。 若用户希望自定义参数进行训练，可直接编辑对应模型的训练脚本，可编辑参数以及详细介绍如下。以 llama2-70b
获取训练作业日志的文件名 功能介绍 获取训练作业日志的文件名。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/log/file-names 参数说明如表1所示。 表1 参数说明 参数 是否必选
查询数据集导出任务列表 功能介绍 分页查询数据集导出任务列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
如果模型的版本已经部署服务，需先删除关联的服务后再执行删除操作。模型删除后不可恢复，请谨慎操作。 单击模型的“版本数量”，可查看版本列表信息。 图1 版本列表 版本列表中包含以下信息。 表2 版本列表 参数 说明 版本 模型当前版本。 状态 模型当前状态。 部署类型 模型支持部署的服务类型。 模型大小 模型的大小。
文件将保存在这个目录下 logging_steps 2 用于指定模型训练过程中，多少步输出一次日志。日志包括了训练进度、学习率、损失值等信息。建议设置 save_steps 5000 指定模型训练过程中，每多少步保存一次模型。保存的模型可以用于后续的训练或推理任务 plot_loss
String 训练作业一级状态。可选值如下： Creating：创建中 Pending：等待中 Running：运行中 Failed：运行失败 Completed：已完成 Terminating：停止中 Terminated：已停止 Abnormal：异常 secondary_phase
启动推理服务 配置需要使用的NPU卡为容器中的第几张卡。例如：实际使用的是容器中第1张卡，此处填写“0”。 export ASCEND_RT_VISIBLE_DEVICES=0 如果启动服务需要使用多张卡，则按容器中的卡号依次编排。例如：实际使用的是容器中第1张和第2张卡，此处填写为“0,1”，以此类推。
文件将保存在这个目录下 logging_steps 2 用于指定模型训练过程中，多少步输出一次日志。日志包括了训练进度、学习率、损失值等信息。建议设置 save_steps 5000 指定模型训练过程中，每多少步保存一次模型。保存的模型可以用于后续的训练或推理任务 plot_loss
WorkflowStep 参数 是否必选 参数类型 描述 name 是 String Workflow工作流节点的名称，在一个DAG中唯一，1到64位只包含中英文，数字，空格，下划线（_）和中划线（-），并且以中英文开头。 type 否 String 节点的类型，枚举值如下: job 训练 labeling
-step调度后会在执行一次调度和输入准备后，连续n步运行模型。通过NPU在n步之间连续处理，而无需等待CPU，可以将CPU开销分散到n步中，从而显著减少NPU空闲时间，提升整体性能。 约束限制 暂不支持Multi-Lora和投机推理场景。 multi-step参数设置 启动推理
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
“镜像复制” 镜像复制开关，选择是否将容器镜像中的模型镜像复制到ModelArts中。 关闭时，表示不复制模型镜像，可极速创建模型，更改或删除SWR源目录中的镜像会影响服务部署。 开启时，表示复制模型镜像，无法极速创建模型，SWR源目录中的镜像更改或删除不影响服务部署。 说明： 如
当前版本仅支持语言+图片多模态性能测试。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤三：上传代码包和权重文件中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。
据校验，否则只进行数据去重。 输入要求 算子输入分为两种，“数据集”或“OBS目录”。 选择“数据集”，请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”，存放结构又分两种情况，“仅包含图片”或“包含图片和标注信息”。
务名称的地方提示用户同步中。 6：已创建。owner创建完任务，未启动，仅owner/manager可见任务列表。 7：验收采样中。发起验收改为异步，新增验收采样中的状态，此时不允许发起新的验收任务，也不允许继续当前验收，任务名称的地方提示用户验收采样中。 synchronize_auto_labeling_data
StepExecution 参数 是否必选 参数类型 描述 step_name 否 String 节点的名称，在一个DAG中唯一，1到64位只包含中英文，数字，空格，下划线（_）和中划线（-），并且以中英文开头。 duration 否 Integer Execution执行的运行时长。 type
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
