检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dataset：数据集 obs：OBS swr：SWR model_list：AI应用列表 label_task：标注任务 service：在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
将获取到的Wav2Lip Ascend软件包AscendCloud-AIGC-*.zip文件上传到容器的/home/ma-user目录下。获取路径：Support网站。 解压AscendCloud-AIGC-*.zip文件，解压后将里面指定文件与对应Wave2Lip文件进行替换。 cd /home/ma-user
json文件中配置。当业务可提供正常服务时，健康检查接口返回健康状态，否则返回异常状态。 如果要实现无损滚动升级，必须配置健康检查接口。 自定义镜像如果需要在“在线服务”模块使用OBS外部存储挂载功能，需要新建一个OBS挂载专属目录如“/obs-mount/”，避免选择存量目录覆盖已有文件。OBS挂载
在“AI应用管理 > AI应用 > 我的订阅”页面，选择并展开订阅的目标模型。在版本列表单击“部署”，可以将订阅的ModelArts模型部署为“在线服务”、“批量服务”或“边缘服务”，详细操作步骤请参见部署服务。 使用订阅的HiLens技能： 在“产品订购 > 订单管理 > AI Ga
示例： example = ServiceData(service_id = "**") # 通过ModelArts的在线服务，获取对应服务的服务ID，描述指定的在线服务。用于服务更新的场景。 表8 SWRImage 属性 描述 是否必填 数据类型 swr_path 容器镜像的SWR路径
场景 说明 基于ModelArts Standard一键完成商超商品识别模型部署 在线服务 物体检测 此案例以“商超商品识别”模型为例，完成从AI Gallery订阅模型，到ModelArts一键部署为在线服务的免费体验过程。 第三方推理框架迁移到ModelArts Standard推理自定义引擎
动”，完成订单信息确认后单击“确定”开始构建AI应用。 当AI应用状态变为“运行中”时，表示启动成功。在AI应用详情页的“应用”页签，可以在线体验应用。 父主题： 发布和管理AI Gallery中的AI应用
、使用方法等信息。 编辑完成后，单击“确认”保存修改。 管理数据集文件 预览文件 在数据集详情页，选择“数据集文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页，选择“数据集文件”页签。单击操作列的
SWR OperateAccess 必选 CES云监控 授予子用户使用CES云监控服务的权限。通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况，并设置监控告警。 CES FullAccess 必选 SMN消息服务 授予子用户使用SMN消息服务的
是否查询专属资源池支持的服务部署规格列表，默认为false。 infer_type 否 String 推理方式，枚举值如下： real-time：在线服务，默认值 batch：批量服务 edge: 边缘服务 limit 否 String 指定每一页返回的最大条目数，默认为1000。 offset
2，单击Code按钮，通过Download ZIP下载ComfyUI源码到本地。 图1 下载ComfyUI源码 访问Github下载开源软件需要连通外网，请用户自行配置网络代理。 将下载好的ComfyUI-0.2.2.zip文件上传到容器的/home/ma-user/目录下，并解压。 cd /home/ma-user/
because {reason}. 创建代理映射失败，因为{原因}。 根据提示失败原因进行排查。 400 ModelArts.3817 Failed to update the AI proxy mapping because {reason}. 更新代理映射路径失败，因为{原因}。 根据提示失败原因进行排查。
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
dataset：数据集 obs：OBS swr：SWR model_list：AI应用列表 label_task：标注任务 service：在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
Step3 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
平均可以生成3个有效token，即用1.5倍的时间代价，生成了3倍的token数量，性能提升了100%。 投机推理参数设置 在启动离线或在线推理服务时参考表1所示配置参数，使用投机推理功能。 表1 投机推理相关参数 服务启动方式 配置项 取值类型 配置说明 offline speculative_model
模型训练计费项 计费说明 在ModelArts进行模型训练时，会产生计算资源和存储资源的累计值计费。计算资源为训练作业运行的费用。存储资源包括数据存储到OBS或SFS的费用。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
