检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 ├──vllm_ppl.py #ppl精度测试脚本
务需要选择任务所需的资源卡数。 如果选择付费资源，则请确认账号未欠费，且余额高于所选计算规格的收费标准，否则可能会导致AI Gallery工具链服务异常中断。AI Gallery的计算规格的计费说明请参见计算规格说明。 作业参数配置完成后，单击“启动作业”。 在“订单信息确认”页
模式，全量节点和增量节点分别占用2张卡，一共使用4张卡。 配置tools工具根目录环境变量 使用AscendCloud-LLM发布版本进行推理，基于AscendCloud-LLM包的解压路径配置tool工具根目录环境变量： export LLM_TOOLS_PATH=${root
# 推理代码包 |──llm_tools # 推理工具 |——AscendCloud-OPP #依赖算子包 工作目录介绍 详细的工作目录参考如下，建议参考以下要求
候进行调用 模型基类NewBertForXXX：该类承自NewBertPreTrainedModel。 该类可用于执行AI Gallery工具链服务，此处以文本问答(Question Answering)的任务类型为例： class NewBertForQuestionAnswe
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
用内存，导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间，再查看回收站文件占用内存，根据实际删除回收站里不需要的大文件。 在Notebook实例详情页，查看实例的存储容量。 执行如下命令，排查虚拟机所使用的存储空间，一般接近存储容量，请排查回收站占用内存。
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
准备镜像 镜像方案说明 ECS获取基础镜像 ECS中构建新镜像 ECS中上传新镜像 父主题： 准备工作
ma-cli configure鉴权命令 鉴权信息说明 在虚拟机及个人PC场景，需要配置鉴权信息，目前支持用户名密码鉴权（默认）和AK/SK鉴权； 在使用账号认证时，需要指定username和password；在使用IAM用户认证时，需要指定account、username和password；
准备镜像 镜像方案说明 ECS获取基础镜像 ECS中构建新镜像 ECS中上传新镜像 父主题： 准备工作
# 推理代码包 |──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdi
SSH：可以通过SSH协议远程连接Notebook。 key_pair_names 否 Array of strings SSH密钥对名称，可以在云服务器控制台（ECS）“密钥对”页面创建和查看。 表4 VolumeReq 参数 是否必选 参数类型 描述 capacity 否 Integer 存储
sh文件，来安装依赖以及下载完整代码。 ECS中DockerFIle构建新镜像：在ECS中，通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。Dockerfile会尝试自动下载三方依赖源码并安装依赖的pip包，并将以上源码打包至镜像环境中； 训练作业的资源池以及ECS都需要连通公
准备镜像 镜像方案说明 ECS获取和上传基础镜像 ECS中构建新镜像（可选） 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
