检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Ascend vllm提供prefix caching关键特性能力，能够显著降低长system prompt和多轮对话场景首token时延，提升用户体验。其优势主要包括： 更短的prefill时间：由于跨请求的重复token序列对应的KV Cache可以复用，那么就可以减少一部分前缀token的KV
/v2/{project_id}/workforces/workers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 指定每一页返回的最大条目数，取值范围[1
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 请求参数 表2 请求Body参数
tasks/{task_id}/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 表2 Query参数 参数 是否必选 参数类型
s/{workforce_id}/workers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 表2 Query参数 参数 是否必选
acy_cfgs.yaml相对或绝对路径 --dataset <dataset>：评估数据集；可选值：gsm8k、all，默认值为all，用户只需选择参数即可，数据集路径eval接口已指定好。 --model_name <model_name>：训练模型名 --run_type
{task_id}/save-image-job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。
ModelArts开发环境 ModelArts作为华为云上的AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。 MindSpore
fgs.yaml相对或绝对路径 --dataset <dataset>：评估数据集；可选值：all、mmlu、ceval，默认值为all，用户只需选择参数即可，数据集路径eval接口已指定好。 --model_name <model_name>：训练模型名 --run_type
fgs.yaml相对或绝对路径 --dataset <dataset>：评估数据集；可选值：all、mmlu、ceval，默认值为all，用户只需选择参数即可，数据集路径eval接口已指定好。 --model_name <model_name>：训练模型名 --run_type
/v2/{project_id}/training-job-flavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 flavor_type 否 String
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 auto_sync_dataset
low_id}/service/packages 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数
/v2/{project_id}/workflows/todolist 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String
指定算法所属的ai项目，默认值为"default-ai-project"。ai项目已下线，无需关注。 user_name String 用户名称。 domain_id String 用户的domainID。 source String 算法来源类型。 api_version String 算法api版本，标识新旧版。
/v1/{project_id}/resourceflavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 continue 否 String 分页查询时上一页位置。
{training_job_id}/events 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。
GET /v1/{project_id}/events 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 resource 是 String 事
ls/{nodepool_name}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 nodepool_name 是 String
/v2/{project_id}/pools/{pool_name}/nodes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 表2 Query参数 参数 是否必选 参数类型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
