检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态benchmark下的最大max-model-len。
${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml。 ${model-path}：Step1 上传权重文件中上传的模型权重路径。
如果使用Grafana对接Prometheus制作报表，可以将Grafana部署在集群内，这里不需要对Prometheus绑定公网IP和配置安全组，只需要对Grafana绑定公网IP和配置安全组即可。
${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml。 ${model-path}：Step1 上传权重文件中上传的模型权重路径。
${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml。 ${model-path}：Step1 上传权重文件中上传的模型权重路径。
用户需熟悉Docker制作镜像的方法。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。
测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态benchmark下的最大max-model-len。
测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态benchmark下的最大max-model-len。
推理启动脚本run_vllm.sh制作请参见下文创建推理脚本文件run_vllm.sh的介绍。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。
可选值如下： Dedicate：物理资源池，独立的网络，支持网络打通，定制驱动，定制作业类型。 scope Array of strings 资源池支持的作业类型。至少选择一种，物理资源池支持全部选择。
推理启动脚本run_vllm.sh制作请参见下文创建推理脚本文件run_vllm.sh的介绍。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。
测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态benchmark下的最大max-model-len。
如果是静态seq_len推理，修改infer脚本中45行max_length 的值为静态seq_len，并屏蔽或者删除25~26行以及46~49行，如下图所示。 父主题： 内容审核模型训练推理
──build.sh # 安装量化模块的脚本 ├──llm_evaluation # 推理评测代码包 ├──benchmark_tools #性能评测 ├── benchmark.py # 可以基于默认的参数跑完静态
测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态benchmark下的最大max-model-len。
msprof AOE 自动调优工具，提供子图调优和算子调优功能，在静态shape场景下有较好的调优效果。推荐在mindspore-lite离线推理场景下使用。 包含在cann toolkit中。
容器镜像所在路径：单击文件夹标签，选择已经制作好的镜像。 容器调用接口参数：根据镜像实际提供的协议和端口填写，本案例中的SDXL镜像提供HTTP服务和8183端口。 图4 填写参数（1） 系统运行架构： 选择ARM. 推理加速卡：无。 部署类型： 在线服务。
使用自动学习构建模型 AI初学者 使用自定义算法构建模型 免费体验ModelArts 免费体验CodeLab 自动学习 口罩检测（使用新版自动学习实现物体检测） 部署在线服务 使用大模型在ModelArts Standard创建AI应用部署在线服务 自定义镜像用于推理部署 从0-1制作自定义镜像并创建
制作自定义镜像的操作指导及规范要求，请参见模型镜像规范。 说明： 您选择的模型镜像将共享给系统管理员，请确保具备共享该镜像的权限（不支持导入其他账户共享给您的镜像），部署上线时，ModelArts将使用该镜像部署成推理服务，请确保您的镜像能正常启动并提供推理接口。
benchmark_type：评测数据集类型，分为eval、static、awq，也就是精度、静态和量化数据集，默认eval。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
