检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
h大于此值，将不进行投机推理。其使用原因是投机推理在大batch下收益会显著下降，故需要在batch过大时关闭该特性。 投机推理端到端推理示例 以llama-2-13b-chat-hf模型作为LLM大模型，llama1.1b作为小模型，启用openai接口服务为例。 使用下面命令启动推理服务。
查询”。 图1 示例图片 添加指标查询信息。 图2 示例图片 添加方式：选择“按指标维度添加”。 指标名称：在右侧下拉框中选择“全量指标”，然后选择想要查询的指标，参考表1、表2 指标维度：填写过滤该指标的标签，请参考表4的Label名字栏。样例如下： 图3 示例图片 单击确定，即可出现指标信息。
ed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
h大于此值，将不进行投机推理。其使用原因是投机推理在大batch下收益会显著下降，故需要在batch过大时关闭该特性。 投机推理端到端推理示例 以llama-2-13b-chat-hf模型作为LLM大模型，llama1.1b作为小模型，启用openai接口服务为例。 使用下面命令启动推理服务。
= [output.get_data_to_numpy() for output in outputs] 更多Python接口的高级用法与示例，请参考Python API。 父主题： 模型适配
Version obs:object:GetObjectAcl obs:object:GetObjectVersionAcl 训练作业配置代码目录、输入、输出和日志的OBS桶路径时，需要OBS服务相关操作权限，用于OBS对象路径的合法性校验。 训练作业以自定义容器镜像方式启动。 SWR
yaml配置文件参数配置说明 本小节主要详细描述demo_yaml样例配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging
在微调大师页面，单击操作列的“查看模型”跳转到微调获得的新模型的详情页面。选择“模型文件”页签可以查看微调产物。各文件说明请参见表3。 图1 微调产物示例 表3 微调产物说明 文件名 文件说明 gallery_train文件夹 自定义模型的模型训练文件，仅当使用自定义模型微调时才会有这个微调
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging
/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B 必须修改。加载tokenizer与Hugging
在“未标注”页签图片列表中，单击图片，自动跳转到标注页面。在标注页面，常用按钮的使用可参见表2。 在页面上方工具栏选择合适的标注图形，系统默认的标注图形为矩形。本示例使用矩形工具进行标注。 页面左侧可以选择多种形状对图片进行标注。标注第一张图片时，一旦选择其中一种，其他图片默认使用此形状进行标注，用户可以根据自己需求再进行切换。
ed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
rocess_data.sh 脚本，自定义环境变量的值，并运行该脚本。其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
ed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
rocess_data.sh 脚本，自定义环境变量的值，并运行该脚本。其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
ed/ModelLink 命令，随后在Notebook中运行该脚本。 其中环境变量详细介绍如下： 表1 数据预处理中的环境变量 环境变量 示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分： 预训练场景下数据预处理，默认参数：pretrain 微调场景下数据预处理，默认：sft
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
