检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--datasets mmlu_gen ceval_gen -w ${output_path} output_path: 要保存的结果路径。 (可选)创建新conda环境,安装vllm和opencompass。执行完之后,在 opencompass/configs/models/vllm/vllm_ppl
参数类型 描述 key_pair_names Array of strings SSH密钥对名称,可以在云服务器控制台(ECS)“密钥对”页面创建和查看。 task_urls Array of TaskUrls objects SSH连接地址信息。 表50 TaskUrls 参数
导出数据集版本的名称。 export_dest String 数据集导出类型。可选值如下: DIR:导出到OBS(默认值) NEW_DATASET:导出到新数据集 export_new_dataset_name String 导出新数据集的名称。 export_new_dataset_work_path
mmlu_gen ceval_gen --debug -w ${output_path} output_path: 要保存的结果路径。 (可选)创建新conda环境,安装vllm和opencompass。执行完之后,在 opencompass/configs/models/vllm/vllm_ppl
参数类型 描述 key_pair_names Array of strings SSH密钥对名称,可以在云服务器控制台(ECS)“密钥对”页面创建和查看。 task_urls Array of TaskUrls objects SSH连接地址信息。 表53 TaskUrls 参数
mmlu_gen ceval_gen --debug -w ${output_path} output_path: 要保存的结果路径。 (可选)创建新conda环境,安装vllm和opencompass。执行完之后,在 opencompass/configs/models/vllm/vllm_ppl
/xxx/pytorch.tar.gz . 将pytorch.tar.gz上传到OBS并设置公共读,并在构建时wget获取、解压、清理。 新镜像构建 基础镜像一般选用ubuntu 18.04的官方镜像,或者nvidia官方提供的带cuda驱动的镜像。相关镜像直接到dockerhub官网查找即可。
ons/{version_id}/results 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String
创建API网关应用(简称APP)。 查询APP详情 查询指定的APP详情。 删除APP 删除指定的APP。 增加AppCode 为指定API网关应用创建新的AppCode。 重置AppCode 重置指定API网关应用的指定的AppCode。 删除AppCode 删除指定API网关应用的指定的AppCode。
name 否 String 资产名称。 type 否 String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id 否 String 资产ID,可在AI Gallery中获取。 subscription_id
参数类型 描述 name String 资产名称。 type String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id String 资产ID,可在AI Gallery中获取。 subscription_id String
容器属于哪个服务,包含notebook,train和infer。 instance_name 容器所属pod的名字。 service_id 页面展示的实例或者job id。如开发环境为:cf55829e-9bd3-48fa-8071-7ae870dae93a, 训练作业为:9f32
参数类型 描述 name String 资产名称。 type String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id String 资产ID,可在AI Gallery中获取。 subscription_id String
表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 version_id 是 String 数据集版本ID。 请求参数 无 响应参数 状态码: 200
参数类型 描述 name String 资产名称。 type String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id String 资产ID,可在AI Gallery中获取。 subscription_id String
--num-prompts:某个频率下请求数,默认80。 --output_len:输出长度,默认是1024。 --trust-remote-code:是否相信远程代码。 脚本运行完后,测试结果直接在终端输出。 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6
--num-prompts:某个频率下请求数,默认80。 --output_len:输出长度,默认是1024。 --trust-remote-code:是否相信远程代码。 脚本运行完后,测试结果保存在终端输出。 单条请求性能测试 针对openai的/v1/completions以及/v1/chat/c
Notebook中使用自定义镜像 当Notebook预置镜像不能满足需求时,用户可以制作自定义镜像。在镜像中自行安装与配置环境依赖软件及信息,并制作为自定义镜像,用于创建新的Notebook实例。 Notebook使用自定义镜像介绍 将Notebook实例保存为自定义镜像 OBS 2.0支持 使用自定义镜像训练作业
dataset_type=None, data_sources=None, work_path=None, **kwargs) 根据数据类型创建数据集,用户可以在相同的数据集上创建不同类型的标注任务,如在图像数据集上创建图像分类、物体检测等标注任务。 create_dataset(session
导出数据集版本的名称。 export_dest String 数据集导出类型。可选值如下: DIR:导出到OBS(默认值) NEW_DATASET:导出到新数据集 export_new_dataset_name String 导出新数据集的名称。 export_new_dataset_work_path