检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图9 远程登录 在CloudShell中设置密码等参数后，单击“连接”即可登录节点，CloudShell介绍可参见远程登录Linux弹性云服务器（CloudShell方式） 。 配置kubectl工具。
二、启动镜像 启动容器镜像，训练需要8卡，推理分为单卡推理和多卡推理，启动前可以根据实际需要增加修改参数。
在New dashboard /Edit Panel界面，填写如下参数。 Data source：已配置Grafana数据源； Metric：指标名称，可参考表1、表2、表3获取想要查询的指标； Labels：填写过滤该指标的标签，请参考表4。
图3 安装依赖包 图4 保存镜像 图5 填写保存镜像相关参数 父主题： 准备工作
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
Step4 启动镜像 启动容器镜像，推理只需要启动单卡，启动前可以根据实际需要增加修改参数。
公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。 用户下发训练作业、部署模型、使用开发环境实例等，均可以使用ModelArts提供的公共资源池完成，按照使用量计费，方便快捷。
而在训练中，需要按照参数说明修改${}中的参数值。该模板使用SFS Turbo挂载方案。
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
单击“添加授权”，进入“访问授权”配置页面，根据参数说明进行配置。
单击“编辑”，查看高级配置的“plugins”参数下是否有“{"name":"cabinet"}”，如图2所示。 图2 Volcano调度器的高级配置 是，则执行2。
而在训练中，需要按照参数说明修改${}中的参数值。该模板使用SFS Turbo挂载方案。
而在训练中，需要按照参数说明修改${}中的参数值。该模板使用SFS Turbo挂载方案。
而在训练中，需要按照参数说明修改${}中的参数值。该模板使用SFS Turbo挂载方案。
在“Standard资源池”页签，单击“购买AI专属集群创建专属资源池”，进入购买AI专属集群创建专属资源池界面填写参数。 “作业类型”包括推理服务。“网络”选择上文中已打通VPC的网络。 图3 作业类型 单击“立即购买”确认规格。
参数名称 说明 iam_url IAM地址，默认为“https://iam.myhuaweicloud.com/v3/auth/tokens”。
单击集群配置的图标，可以设置绑核、Dropcache、大页内存参数。缺省值表示读取资源池镜像中的默认值。 绑核：开启CPU绑核表示工作负载实例独占CPU，可以提升应用性能（比如训练作业、推理任务性能），减少应用的调度延迟，适用于对CPU缓存和调度延迟敏感的场景。
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
conda详细参数可参考conda官网。
如果有queryString，那么在params栏中添加参数。在header中添加认证信息（不同认证方式有不同header，跟https的推理服务相同）。选择单击右上的connect按钮，建立WebSocket连接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
