检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
//docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart
若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
针对机器学习类模型，仅支持“application/json” data 在线服务-非必选 批量服务-必选 String 请求体以json schema描述。参数说明请参考官方指导。 表5 response结构说明 参数 是否必选 参数类型 描述 Content-type 在线服务-非必选 批量服务-必选 String
Timeout”时请参考问题4：Error waiting on exit barrier错误 4、需要开启profiling功能进行性能数据采集和解析请参考录制Profiling 5、训练过程中报"ModuleNotFoundError: No module named 'multipa
tebook”。 单击“创建”，进入创建页面，选择默认参数后，单击“立即创建”，确认信息无误后单击“提交”。任务提交成功后单击“立即返回”跳转至Notebook列表页。Notebook实例更多参数介绍请参见创建Notebook实例章节。 查看2中创建好的实例，确保其状态为“运行中
发布算法 进入AI Gallery首页，选择“资产集市 > 算法”，进入算法页面。 单击“发布”，弹出“选择云服务区域”，选择区域后单击“确定”跳转到“发布资产到AI Gallery”页面。 在发布资产页面，填写相关信息，发布资产。 如果是发布新资产。 “发布方式”选择“创建新资产”。
需要打通的对端网络不能和当前网段重叠。 图4 打通VPC参数选择 如果没有VPC可选，可以单击右侧的“创建虚拟私有云”，跳转到网络控制台，申请创建虚拟私有云。 如果没有子网可选，可以单击右侧的“创建子网”，跳转到网络控制台，创建可用的子网。 支持1个VPC下多个子网的打通，如果VPC下有多个子网，会显示“
作业”页面，检查是否有“运行中”的训练作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>模型部署>在线服务”页面，检查是否有“运行中”的推理作业。如果有，单击该作业列表右方操作下的“停止”即可停止计费。 进入“ModelArts>模型部署>
b等开发工具中调试分布式训练。 约束限制 总览页面打开的CodeLab不支持此项功能，但是如果用户在AI Hub中打开了可用的案例，会自动跳转到CodeLab中，此时是可以使用这项功能的。 如果切换了Notebook的规格，那么只能在Notebook进行单机调测，不能进行分布式调测，也不能提交远程训练作业。
查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如发生硬件故障导致推理实例故障，ModelArts会自动检测到并迁移受影响实例到其它可用节点，实例启动后恢复推理请求处
Timeout”时请参考问题4：Error waiting on exit barrier错误 4、需要开启profiling功能进行性能数据采集和解析请参考录制Profiling 5、训练过程中报"ModuleNotFoundError: No module named 'tyro'"可
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
步骤二 权重格式离线转换（可选） 在GPU上AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
在数据集列表中，单击某个数据集名称进入数据集详情页。选中右上角“发布 > 资产发布列表”，可以查看资产发布记录。 发布成功后，会生成资产链接，用户可以单击链接跳转到资产的详情页面。 删除发布的数据集 当您需要删除发布在AI Gallery中的数据集时，可以执行如下步骤进行删除。 在AI Gallery页面的右上角单击“个人中心
请求Body参数 参数 是否必选 参数类型 描述 schedule 否 Array of Schedule objects 服务调度配置，仅在线服务可配置，默认不使用，服务长期运行。 description 否 String 服务描述，不超过100个字符，不能包含字符有!<>=&"'。不设置此参数表示不更新。
息进行升级。 约束限制 服务升级关系着业务实现，不当的升级操作会导致升级期间业务中断的情况，请谨慎操作。 ModelArts支持部分场景下在线服务进行无损滚动升级。按要求进行升级前准备，做好验证，即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池
Gallery工具链服务创建成功且实际开始运行时，才会上报话单并开始计费，其他状态不上报就不计费，各个服务开始计费的状态如下。 微调大师：“训练中” AI应用：“运行中” 在线推理服务：“运行中” 计费规则 资源整点扣费，按需计费。 计费的最小单位为秒，话单上报后的每一小时对用户账号进行一次扣费。如果使用过程中暂停、终止了消耗资源的AI
ebook实例。 训练作业：训练作业运行时会收取费用，使用完请及时停止训练作业。同时，也需清理存储到OBS中的数据。 模型部署：模型部署为在线服务、边缘服务时，会收取费用，使用完请及时停止服务。同时，也需清理存储到OBS中的数据。 专属资源池：在使用ModelArts进行AI全流
json文件中配置。当业务可提供正常服务时，健康检查接口返回健康状态，否则返回异常状态。 如果要实现无损滚动升级，必须配置健康检查接口。 自定义镜像如果需要在“在线服务”模块使用OBS外部存储挂载功能，需要新建一个OBS挂载专属目录如“/obs-mount/”，避免选择存量目录覆盖已有文件。OBS挂载
发布免费模型 进入AI Gallery首页，选择“资产集市 > 模型”，进入模型页面。 单击“发布”，弹出“选择云服务区域”，选择区域后单击“确定”跳转到“发布资产到AI Gallery”页面。 发布ModelArts模型 如果是发布新资产。 “发布方式”选择“创建新资产”。 填写“资产标题”。即在AI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
