检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml和推理服务启动脚本run_vllm.sh，run_vllm.sh内容见Step3 创建服务启动脚本。
模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图3 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。
批量任务中调用的推理接口，即模型镜像中暴露的REST接口，需要从模型的config.json文件中选取一个api路径用于此次推理；如使用ModelArts提供的预置推理镜像，则此接口为/。 mapping_type 否 String batch服务类型必选。
如果用户在宽限期内充值，则华为云会自动扣取欠费金额（含宽限期内产生的费用） 保留期到期时仍未支付欠款（含宽限期内产生的费用），则付费资源将释放，数据无法恢复。 宽限期和保留期的详细规则请参见宽限期保留期。 父主题： AI Gallery（新版）
说明： 要求模型的元模型来源为从容器镜像中选择，并且镜像支持WebSocket。 设置“升级为WebSocket”后，不支持设置“服务流量限制”。 “升级为WebSocket”参数配置，不支持修改。
模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图3 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。
使用华为云账号登录ModelArts管理控制台，在左侧导航栏单击“权限管理”，进入“权限管理”页面，单击“添加授权”。
操作步骤 VPC访问通道访问在线服务操作步骤如下： 获取ModelArts终端节点服务地址 购买连接ModelArts终端节点 创建DNS内网域名 VPC访问在线服务 提交工单，提供账号ID给华为云技术支持，用于获取ModelArts终端节点服务地址。
image_name String 镜像名称。 image_tag String 镜像标签。 annotations Map<String,String> 注解信息，可扩展字段，缺省值为NULL。
使用主用户账号登录华为云的管理控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入统一身份认证（IAM）服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”，单击右上角的“创建自定义策略”按如下要求设置完成后单击“确定”。
阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》。 单击“发布”。 发布数据时，数据集文件所在的OBS文件夹不能增加或删除文件，否则会引起发布前后文件数量或大小不一致，从而导致发布失败。
模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图4 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。
如果您的华为云账号已经升级为华为账号，则账号认证方式将不可用，请创建一个IAM用户，使用IAM用户认证。 用户AK-SK认证模式 本地安装完成ModelArts SDK后，可通过用户AK-SK认证模式进行Session鉴权。
集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。解决方法请参见申请扩大资源配额。 图3 报错信息（1） 图4 报错信息（2） 资源售罄或容量不足，导致创建失败？
如果界面错误提示不包含此信息，则是因为后台服务故障导致，建议联系华为云技术支持。 检查当前账号是否具备OBS权限。 如果当前账号是个IAM用户（即子账号），需确认当前账号是否具备OBS服务操作权限。
如果在Step4 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，切换一个conda环境。
动态分档模型转换需要使用配置文件，指定输入格式为“ND”，并在config文件中配置ge.dynamicDims和input_shape使用，在input_shape中将输入shape的动态维度设为-1，并在ge.dynamicDims中指定动态维度的档位，更多配置项可以参考官方文档
请以华为云官网发布的数据为准。 在使用ModelArts进行AI开发时，会将数据保存至OBS、EVS或SFS中，此时会产生单独的存储计费，具体费用以OBS、EVS和SFS的计费标准为准。
${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node-path}：节点自定义目录，该目录下包含pod配置文件config.yaml和推理服务启动脚本run_vllm.sh，run_vllm.sh内容见Step3 创建服务启动脚本。
动态batch 在模型转换阶段通过--configFile参数指定配置文件，并且在配置文件中配置input_shape及dynamic_dims动态参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
