检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景 说明 基于ModelArts Standard一键完成商超商品识别模型部署 在线服务 物体检测 此案例以“商超商品识别”模型为例，完成从AI Gallery订阅模型，到ModelArts一键部署为在线服务的免费体验过程。 第三方推理框架迁移到ModelArts Standard推理自定义引擎
json文件中配置。当业务可提供正常服务时，健康检查接口返回健康状态，否则返回异常状态。 如果要实现无损滚动升级，必须配置健康检查接口。 自定义镜像如果需要在“在线服务”模块使用OBS外部存储挂载功能，需要新建一个OBS挂载专属目录如“/obs-mount/”，避免选择存量目录覆盖已有文件。OBS挂载
示例： example = ServiceData(service_id = "**") # 通过ModelArts的在线服务，获取对应服务的服务ID，描述指定的在线服务。用于服务更新的场景。 表8 SWRImage 属性 描述 是否必填 数据类型 swr_path 容器镜像的SWR路径
dataset：数据集 obs：OBS swr：SWR model_list：AI应用列表 label_task：标注任务 service：在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
在“AI应用管理 > AI应用 > 我的订阅”页面，选择并展开订阅的目标模型。在版本列表单击“部署”，可以将订阅的ModelArts模型部署为“在线服务”、“批量服务”或“边缘服务”，详细操作步骤请参见部署服务。 使用订阅的HiLens技能： 在“产品订购 > 订单管理 > AI Ga
动”，完成订单信息确认后单击“确定”开始构建AI应用。 当AI应用状态变为“运行中”时，表示启动成功。在AI应用详情页的“应用”页签，可以在线体验应用。 父主题： 发布和管理AI Gallery中的AI应用
、使用方法等信息。 编辑完成后，单击“确认”保存修改。 管理数据集文件 预览文件 在数据集详情页，选择“数据集文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页，选择“数据集文件”页签。单击操作列的
是否查询专属资源池支持的服务部署规格列表，默认为false。 infer_type 否 String 推理方式，枚举值如下： real-time：在线服务，默认值 batch：批量服务 edge: 边缘服务 limit 否 String 指定每一页返回的最大条目数，默认为1000。 offset
该接口支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。 若没有授权，ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。 在管理用户授权时，可以调用删除授权接口删除指定用户的授权或者删除全量用户的授权。
SWR OperateAccess 必选 CES云监控 授予子用户使用CES云监控服务的权限。通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况，并设置监控告警。 CES FullAccess 必选 SMN消息服务 授予子用户使用SMN消息服务的
model_id 否 String 模型ID。 specification 否 String 在线服务的资源规格。详见部署服务 weight 否 Integer 权重百分比，分配到此模型的流量权重；仅当infer_type为real-time时需要配置，多个权重相加必须等于100。 表11
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
dataset：数据集 obs：OBS swr：SWR model_list：AI应用列表 label_task：标注任务 service：在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
购买的SFS可以用于存储数据和代码。 如何购买弹性文件服务？ 容器镜像服务SWR 容器镜像服务分为企业版和共享版。共享版计费项包括存储空间和流量费用，目前均免费提供给您。企业版支持按需计费模式。 购买的SWR可以用于上传自定义镜像。 使用容器引擎客户端上传镜像 对象存储服务OBS
业务场景 依赖的服务 委托授权项 说明 在线服务 LTS lts:groups:create lts:groups:list lts:topics:create lts:topics:delete lts:topics:list 建议配置，在线服务配置LTS日志上报。 批量服务 OBS
若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何创建AI应用，部署模型并启动推理服务，在线预测服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
