检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HuggingFace转Megatron参数说明 --model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。
登录ModelArts管理控制台，在左侧菜单栏中选择“资产管理 >数据集”，进入“数据集”管理页面。 在数据集所在行，单击操作列的“导入”。 或者，您可以单击数据集名称，进入数据集“概览”页，在页面右上角单击“导入”。 在“导入”对话框中，参考如下说明填写参数，然后单击“确定”。 “数据来源”：“本地上传”
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 end_time 是 Long 监控信息的截止时间。 start_time 是 Long
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数
llava-onevision-qwen2-7b-ov-hf 推理 Ascend-vLLM 表5 多模态模型基于PyTorch的训练推理 模型名称 应用场景 软件技术栈 指导文档 Qwen-VL 训练 推理 PyTorch Qwen-VL基于Standard+OBS+SFS适配PyTorch
本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化
参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 Long 训练作业的ID。 version_id 是 Long 训练作业的版本ID。 请求消息 无请求参数。 响应消息
可参见数据集发布后，相关文件的目录结构说明。 查看步骤 在ModelArts管理控制台，进入“数据管理>数据集”。 选择需查看数据集，单击名称左侧小三角，展开数据集详情。可获得“数据集输出位置”指定的OBS路径。 获取标注信息前，需确保数据集已发布，至少有一个以上数据集版本。 图1
PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.911-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM
PyTorch：pytorch_2.1.0 MindSpore lite： 2.3.0 FrameworkPTAdapter：6.0.RC3 - 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.910-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述
HuggingFace转Megatron参数说明 --model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。
参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 String 可视化作业ID。 请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型
id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 请求参数 表2 请求Body参数 参数
id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 请求参数 无 响应参数 状态码： 204 表2 响应Body参数 参数 参数类型
Notebook实例ID，可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 状态码：200 表2 响应Body参数 参数 参数类型 描述 create_at Long 实例创建的时间，UTC毫秒。
HuggingFace转Megatron参数说明 --model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。
"num_turns": 3, "chat": { "turn_1": { "Human": "<|Human|>: 如何保障工作中遵循正确的安全准则？<eoh>\n", "Inner Thoughts": "<|Inner Thoughts|>:
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 version_id 是 String 数据集版本ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型
sis 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 请求参数 无 响应参数 状态码：200
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
