检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--install-for-all 安装完成后再使用如下命令查看是否安装正确。 npu-smi info -t board -i 1 | egrep -i "software|firmware" 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
支持在部署在线服务时开启AppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
购买连接ModelArts终端节点 创建DNS内网域名 VPC访问在线服务 提交工单，提供账号ID给华为云技术支持，用于获取ModelArts终端节点服务地址。 购买连接ModelArts终端节点 登录虚拟私有云（VPC）管理控制台，单击左侧导航栏中的“VPC 终端节点>终端节点”，进入“终端节点”页面。
/etc/squid/ 打开并配置whitelist.conf文件。 vim whitelist.conf 配置内容为安全控制可访问的地址，支持配置通配符，例如： .apig.cn-east-3.huaweicloudapis.com 如果地址访问不通，请在浏览器配置访问域名。 打开并配置squid
m-scheduler-steps个token。开启投机推理后无需配置该参数。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使
在线服务预测报错ModelArts.4503 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4503。 原因分析及处理方法 服务预测报错ModelArts.4503有多种场景，常见场景如下： 通信出错 请求报错：{"
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
m-scheduler-steps个token。开启投机推理后无需配置该参数。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使
健康检查：选填，用于指定模型的健康检查。仅当自定义镜像中配置了健康检查接口，才能配置“健康检查”，否则会导致模型创建失败。 apis定义：选填，用于编辑自定义镜像的apis定义。模型apis定义需要遵循ModelArts的填写规范，参见模型配置文件说明。 本样例的配置文件如下所示： [{
面，完成基本配置后单击“下一步：网络配置”，进入网络配置页面，选择1中打通的VPC，完成其他参数配置，完成高级配置并确认配置，下发购买弹性云服务器的任务。等待服务器的状态变为“运行中”时，弹性云服务器创建成功。单击“名称/ID”，进入服务器详情页面，查看虚拟私有云配置信息。 图4
容器调用接口：根据实际情况配置容器调用接口。 健康检查：保持默认。如果镜像中配置了健康检查则按实际情况配置健康检查。 图1 模型配置参数 单击“立即创建”，进入模型列表页，等模型状态变为“正常”，表示模型创建成功。 使用模型部署在线服务 登录ModelArts管理控制台，进入“模型部署 >在线服
Step6 推理服务的高阶配置（可选） 如需开启以下高阶配置，请在Step3 配置NPU环境时增加需要开启的高阶配置参数。 词表切分 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量。 export
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建，并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
模型转换指定OBS路径。 按需配置。 表2 部署上线所需权限 业务场景 依赖的服务 依赖策略项 支持的功能 配置建议 部署服务 ModelArts modelarts:service:* 部署、启动、查新、更新模型服务。 建议配置。 仅在严格授权模式开启后，需要显式配置左侧权限。 LTS lts:logs:list
像并创建模型。 在ModelArts管理控制台，使用创建好的模型部署为在线服务。 登录云监控服务CES管理控制台，设置ModelArts服务的告警规则并配置主题订阅方式发送通知。具体操作请参考设置告警规则。 当配置完成后，在左侧导航栏选择“云服务监控 > ModelArts”即可
单击模型名称，进入模型详情页面，查看模型详情信息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型和版本默认选中，选择合适的“实例规格”（例如CPU：2核 8GB），其他参数可保持默认值，单击“下一步”，跳转至服务列表页，当服务状态变为“运行中”，服务部署成功。 单击服务名
Method Not Allowed 问题现象 服务预测报错：Method Not Allowed 原因分析 服务预测默认注册的API需要使用POST方法调用。如您使用了GET方法，APIG（API网关）将会拦截请求。 处理方法 使用POST方法调用。 父主题： 服务预测
将AI Gallery中的模型部署为AI应用 AI Gallery支持将模型部署为AI应用，在线共享给其他用户使用。 前提条件 选择的模型必须是支持部署为AI应用的模型，否则模型详情页没有“部署 > AI应用”选项。 部署AI应用 登录AI Gallery。 单击“模型”进入模型列表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
