检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对已标注的数据进行修改。 基于图片修改 在数据集详情页面,单击“已标注”页签,然后在图片列表中选中待修改的图片,在右侧“标注”区域中对图片信息进行修改。 修改标签:“标注”区域中,单击编辑按钮,在文本框中输入正确的标签名,然后单击确定按钮完成修改。标签颜色不支持修改。 删除标签:
gallery_train文件列表 文件类型 文件说明 “train_params.json” 必选文件,训练参数文件,定义了模型训练的必要参数,例如训练方式、超参信息。该参数会显示在微调工作流的“作业设置”页面的算法配置和超参数设置里面。代码示例请参见train_params.json示例。 “dataset_readme
准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、RM奖励模型、DPO偏好训练使用全参/lora训练策略进行训练任务、性能查看。 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.3.912)
准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、RM奖励模型、DPO偏好训练使用全参/lora训练策略进行训练任务、性能查看。 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.3.911)
value:具体的对话内容。 system:系统提示词,用来为整个对话设定场景或提供指导原则。 tools:描述可用的外部工具或功能的信息,这些工具可能被模型用来执行某些任务或获取更多信息。 [ { "conversations": [ {
String 团队标注任务ID。 workforces_config 否 WorkforcesConfig object 团队标注任务团队信息:委托团队管理员分配,或指定团队自行分配。 表3 WorkforcesConfig 参数 是否必选 参数类型 描述 agency 否 String
json文件,里面是提取的per-tensor的scale值。内容示例如下: 图1 抽取kv-cache量化系数 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
json文件,里面是提取的per-tensor的scale值。内容示例如下: 图1 抽取kv-cache量化系数 注意: 1、抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 2、当前社区vllm只支持float8的kv_cache量化,抽取脚本
json文件,里面是提取的per-tensor的scale值。内容示例如下: 图1 抽取kv-cache量化系数 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
value:具体的对话内容。 system:系统提示词,用来为整个对话设定场景或提供指导原则。 tools:描述可用的外部工具或功能的信息,这些工具可能被模型用来执行某些任务或获取更多信息。 [ { "conversations": [ {
准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、RM奖励模型、DPO偏好训练使用全参/lora训练策略进行训练任务、性能查看。 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.5.901)
json文件,里面是提取的per-tensor的scale值。内容示例如下: 图1 抽取kv-cache量化系数 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
kv_cache_scales.json文件,里面是提取的per-tensor的scale值。内容示例如下: 注意: 1、 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 2、当前社区vllm只支持float8的kv_cache量化,抽取脚本
les.json文件,里面是提取的per-tensor的scale值。内容示例如下: 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
les.json文件,里面是提取的per-tensor的scale值。内容示例如下: 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
les.json文件,里面是提取的per-tensor的scale值。内容示例如下: 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
需要注意的是,如果您的模型需指定CPU或GPU上运行时,请根据runtime的后缀信息选择,当runtime中未包含cpu或gpu信息时,请仔细阅读“推理支持的AI引擎”中每个runtime的说明信息。 metrics 否 object数据结构 模型的精度信息,包括平均数、召回率、精确率、准确率,metrics
duration=1)] # (可选)设置在线服务运行时间 ) 参数“model_id”代表将部署成在线服务的模型。“model_id”可以通过查询模型列表或者ModelArts管理控制台获取。 部署服务到专属资源池 from modelarts.config.model_config
划线和下划线,长度为1-64位。 workforces_config 否 WorkforcesConfig object 团队标注任务团队信息:委托团队管理员分配,或指定团队自行分配。 表3 WorkforcesConfig 参数 是否必选 参数类型 描述 agency 否 String
表8 响应Body参数 参数 参数类型 描述 error_code String 服务内部错误码。 error_msg String 错误信息。 请求示例 更新模型服务单个属性。 PUT https://{endpoint}/v1/{project_id}/services/{service_id}/property