检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/v2/{project_id}/search-algorithms 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码：200 表2 响应Body参数 参数 参数类型 描述 search_algo_count
dataset_id 是 String 数据集ID。 label_name 是 String 标签名称。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 label_type 否 Integer
要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 同时开启故障快恢和断点续训时需满足以下条件： 如果用户指定${USER_CONVERTED_CKPT_PATH} 因故障快恢读取权重的优先级最高则训练过程的权重保存路径${OUTPUT_SAV
置信度，数值类型，范围0<=confidence<=1，表示机器标注的置信度。 creation_time String 创建该标注的时间。是用户写入标注的时间，不是Manifest生成时间。 annotated_by String 标注人。 annotation_format String
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 clear_hard_property
yaml相对或绝对路径，此配置文件为训练最优配置参数。 --baseline <baseline>：<可选>GP-Ant8机器性能基线yaml文件路径，用户可自行修改，不填则使用工具自带基线配置，默认基线配置样例如下： --o <output_dir>： <可选>任务完成输出excel表格路径，默认为"
--gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。 --trust-remote-code：是否相信远程代码。 --distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示
类型type、属性properties，必须属性required 、定义definitions等，JSON Schema通过定义对象属性、类型、格式的方式来引导模型生成一个包含用户信息的JSON对象。 其优势主要如下： 上下文引导：通过提供特定的提示或上下文信息，模型可以更好地理解生成内容的方向。 约束生成：可以设定
八卡规格。 当前功能还处于试验阶段，只有llama3-8B/70B适配。 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。
八卡规格。 当前功能还处于试验阶段，只有llama3-8B/70B适配。 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。
八卡规格。 当前功能还处于试验阶段，只有llama3-8B/70B适配。 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图3 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。
AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户运行以下命令下载并安装AutoAWQ源码。 cd llm_tools/AutoAWQ bash build.sh 2、运行“examples/quantize
AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。 conda create
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 version_id 否 String
/v2/{project_id}/processor-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 create_version
ep-learning”，下面的命令中涉及到组织名称“deep-learning”也请替换为自定义的值。 单击右上角“登录指令”，获取登录访问指令，本文选择复制临时登录指令。 以root用户登录本地环境，输入复制的SWR临时登录指令。 上传镜像至容器镜像服务镜像仓库。 使用docker
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 labels 否 Array
Long 训练作业创建时间戳，单位为毫秒，创建成功后由ModelArts生成返回，无需填写。 user_name String 训练作业创建用户的用户名，创建成功后由ModelArts生成返回，无需填写。 annotations Map<String,String> 训练作业申明模板，
aca_text_document.bin和alpaca_text_document.idx文件。 图1 处理后的数据 自定义数据 如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx + .bin格式。 #示例：
ckpoint接续训练。 当需要从训练中断的位置接续训练，只需要加载checkpoint，并用checkpoint信息初始化训练状态即可。用户需要在代码里加上reload ckpt的代码，用于读取前一次训练保存的预训练模型。 断点续训练操作过程 Llama2-70B的断点续训脚本llama2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
