检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取支持的超参搜索算法 功能介绍 获取支持的超参搜索算法。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/search-algorithms
device_distributed_mode（是否支持多卡训练），对应值可选择multiple（支持）、singular（不支持）； host_distributed_mode（是否支持分布式训练），对应值可选择multiple（支持）、singular（不支持）。 values 否 Array
scend； 是否支持多卡训练（device_distributed_mode），对应值可选择支持（multiple）、不支持（singular）； 是否支持分布式训练（host_distributed_mode），对应值可选择支持（multiple）、不支持（singular）。
Integer 指定要查询页的索引，默认为1。 sortBy 否 String 指定查询的排序方式，默认是根据引擎查找“engine”，目前支持的排序还有模型名称“model_name”，“model_precision”模型用途“model_usage”，模型精度描述“model
创建训练作业标签 删除训练作业标签 查询训练作业标签 获取训练作业事件列表 创建训练作业镜像保存任务 查询训练作业镜像保存任务 获取训练作业支持的公共规格 获取训练作业支持的AI预置框架
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
查询支持的服务部署规格 功能介绍 查询支持的服务部署规格列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/services/specifications
ModelArts线上训练得到的模型是否支持离线部署在本地？ 通过ModelArts预置算法训练得到的模型是保存在OBS桶里的，模型支持下载到本地。 在训练作业列表找到需要下载模型的训练作业，单击名称进入详情页，获取训练输出路径。 图1 获取训练输出位置 单击“输出路径”，跳转至OBS对象路径，下载训练得到的模型。
删除算法 功能介绍 删除算法。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/algorithms/{algorithm_id}
获取训练作业支持的AI预置框架 功能介绍 获取训练作业支持的AI预置框架。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
获取训练作业支持的公共规格 功能介绍 获取训练作业支持的公共规格。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-job-flavors
开发环境Notebook 开发环境的Notebook，根据不同的工作环境，对应支持的镜像和版本有所不同。 表3 新版Notebook支持的镜像 镜像名称 镜像描述 适配芯片 支持SSH远程开发访问 支持在线JupyterLab访问 pytorch1.8-cuda10.2-cudnn7-ubuntu18
该镜像所对应的描述信息，长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下： NOTEBOOK：镜像支持通过https协议访问Notebook。 SSH：镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Note
准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
uggingface格式，当前支持QKV-proj、O-proj、gate_up_proj、down_proj模块的挂载。 --max-lora-rank表示挂载lora的最大rank数量，支持8、16、32、64。 --max-loras 表示支持的最大lora个数，最大32。
uggingface格式，当前支持QKV-proj、O-proj、gate_up_proj、down_proj模块的挂载。 --max-lora-rank表示挂载lora的最大rank数量，支持8、16、32、64。 --max-loras 表示支持的最大lora个数，最大32。
准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
_vllm.sh及SSL证书。此处以chatglm3-6b为例。 ascend_vllm代码包在Step9 构建推理代码已生成。 模型权重文件获取地址请参见表1。 推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key
推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
