检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Array of strings 镜像支持的规格。 枚举值如下： CPU GPU ASCEND swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下： BUILD_IN：系统内置镜像。 DEDICATED：用户保存的镜像。
构建新镜像： docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理，增加`--build-arg`参数指定代理地址确保访问公网。 docker build --build-arg "https_proxy=http://xxx.xxx.xxx.xxx"
0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ https://huggingface
不支持图片动态维度，如果图片不是（1，336，336）shape，将会被resize。 --image-feature-size：图片输入解析维度大小；llava-v1.6图片输入维度与image-feature-size关系映射表见git；计算原理如下： 最小处理单元为14*14
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保Notebook内通网，已通网可以跳过这一步，未通网需
├──install.sh #安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保容器内通网，未通网需要配置$config_proxy_
--benchmark-csv benchmark_parallel.csv 参数说明 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
--benchmark-csv benchmark_parallel.csv 参数说明 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
--benchmark-csv benchmark_parallel.csv 参数说明 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU设
Array of strings 镜像支持的规格。 枚举值如下： CPU GPU ASCEND swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下： BUILD_IN：系统内置镜像。 DEDICATED：用户保存的镜像。
执行env|grep -i CURRENT_IMAGE_NAME命令查询当前实例所使用的镜像。 制作新镜像。 获取上步查询的基础镜像的SWR地址。 CURRENT_IMAGE_NAME=swr.cn-north-4.myhuaweicloud.com/atelier/mindspo
新建、关闭、保存、重新加载、重命名、导出、打印Notebook等功能。 Edit 编辑ipynb文件中代码块的相关操作，包括撤销、重做、剪切、复制、粘贴、选择、移动、合并、清除、查找代码块等。 View 查看视图相关操作。 Run 运行代码块相关操作，例如：运行选中代码块、一键运行所有代码块等。 Kernel
仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
CPU架构的自定义镜像分别只能运行于对应CPU架构的规格中。 执行如下命令，查看自定义镜像的CPU架构。 docker inspect {自定义镜像地址} | grep Architecture ARM CPU架构的自定义镜像，上述命令回显如下。 "Architecture": "arm64"
同时ModelArts还提供多种编程语言的SDK供您使用，SDK的使用方法请参见ModelArts SDK参考。 终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 约束与限制 您能创建的ModelArts资源的数量与配额有关系，具体请参见服务配额。
10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时，OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址，必须以“obs://”作为前缀，上传的目标文件夹后缀必须以“/”结尾。 表2 失败响应参数说明 参数 参数类型 描述 error_code
勾选节点名称，选择节点列表上方的“添加/编辑资源标签”或“删除资源标签”，操作单个节点或批量操作节点资源标签。 查找搜索节点 在节点管理页面的搜索栏中，支持通过节点名称、IP地址、资源标签等关键字搜索节点。 设置节点列表显示信息 在节点页面中，单击右上角的设置图标，支持对节点列表中显示的信息进行自定义。 删除/退订/释放节点
勾选节点名称，选择节点列表上方的“添加/编辑资源标签”或“删除资源标签”，操作单个节点或批量操作节点资源标签。 查找搜索节点 在节点管理页面的搜索栏中，支持通过节点名称、IP地址、资源标签等关键字搜索节点。 设置节点列表显示信息 在节点页面中，单击右上角的设置图标，支持对节点列表中显示的信息进行自定义。 删除/退订/释放节点
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
