检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
租户可见域名：指租户可访问的域名，需要格外重视安全性和合规性。 租户不可见域名：指华为云服务在内网相互调用使用的域名，外部用户无法访问到对应的权威DNS服务器；或者Internet受限访问域名，只允许华为办公网络黄&绿区华为员工及合作方或外包人员访问的域名。 华为云基础域名安全使用，避免直接为租户分配基础域名。
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
Face权重文件以及训练代码都需要上传至SFS Turbo中。而基于SFS Turbo所执行的训练流程如下： 将SFS Turbo挂载至ECS服务器后，可直接访问SFS Turbo。通过SSH连接ECS将代码包上传至SFS Turbo中。 在表1获取基础镜像，随后通过镜像方案说明中的步骤执行代码包中llm_t
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
专属资源池需单独创建，不与其他租户共享。 公共资源池 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 xxx 流量限制（QPS） 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 1 更多选项 内容审核 选择是否打开内容审核，默认启用。 开关打开（默认打开）
编辑模型基础设置和模型描述。 表1 模型介绍的参数说明 参数名称 说明 基础设置 中文名称 显示模型的名称，不可编辑。 许可证 模型遵循的使用许可协议，根据业务需求选择合适的许可证类型。 语言 选择使用模型时支持的输入输出语言。 框架 选择构建模型使用的AI开发框架。 任务类型 选择模型支持的任务类型，不同任务类型支持的AI
常见错误码 错误码 错误内容 说明 400 Bad Request 请求包含语法错误。 403 Forbidden 服务器拒绝执行。 404 Not Found 服务器找不到请求的网页。 500 Internal Server Error 服务内部错误。
--logdir=/home/tensorboard --bind_all #启动 启动成功后如下图所示。 图2 启动tensorboard 在浏览器访问http://{宿主机ip}:6006/。将train/loss导出为json，和GPU训练下导出的文件比较。 父主题： 文生图模型训练推理
Notebook自定义镜像制作流程图（适用于场景一和场景二） 场景一：基于Notebook预置镜像或第三方镜像，在服务器上配置docker环境，编写Dockerfile后构建镜像并注册，具体案例参考在ECS上构建自定义镜像并在Notebook中使用 场景二：基于Notebook提供的预置镜像或第三方
选择实例规格，规格中描述了服务器类型、型号等信息。 流量限制（QPS） 设置待部署模型的流量限制QPS。 单位：次/秒 说明： 在部署过程中出现错误码“ModelArts.4206”时，表示QPS请求数量达到限制，建议等待限流结束后再重启服务。 实例数 设置服务器个数。 推荐实例数 =
模型({0})为订阅模型，无法创建新版本 订阅的模型无法创建新版本。 403 ModelArts.3555 Forbidden to access ECS. 无权访问ECS。 对ECS服务进行开通授权后重试。 403 ModelArts.3936 The app-auth API {id} does not
在服务配额页面，单击右上角的“申请扩大配额”，填写申请材料后提交工单。 申请扩大配额主要是申请弹性云服务器ECS实例数、核心数（CPU核数）、RAM容量（内存大小）和云硬盘EVS磁盘容量这4个资源配额。具体的配额数量请先联系客户经理获取。 图7 ECS资源类型 图8 云硬盘资源类型 配额需大于需要开通的资源，且在
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
' &”。 选择运行环境：CPU、GPU或ASCEND。 勾选“我已阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》”。 图2 发布AI Gallery Notebook 界面提示成功创建分享后，返回至AI Gallery，进入示例的详情页面查看示例。
|──Dockerfile 代码上传至SFS Turbo 将AscendFactory代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中，例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中，例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
