检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ ModelArts平台是否支持多模型导入？ 在ModelArts中导入模型对于镜像大小有什么限制？ ModelArts在线服务和批量服务有什么区别？ ModelArts在线服务和边缘服务有什么区别？ 在ModelArts
Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型部署”。 在“模型部署”页面的“预置服务”页签，，选择所需的服务，单击操作列的“领取”，领取免费调用额度。 当“领取”置灰时，表示该服务的免费额度已领取。 在“模型部署”页面的“预置服务”页签，任选以下方式免费体验预置服务。
渡升级。修改服务部署新版本模型或者切换模型版本时，原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。 已完成模型调整，创建模型。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线 > 在线服务”，默认进入“在线服务”列表。
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测
内的子账号的权限。此处的授权列表均按照ModelArts和其他服务的系统预置策略来举例。 表1 服务授权列表 待授权的服务 授权说明 IAM权限设置 是否必选 ModelArts 授予子账号使用ModelArts服务的权限。 ModelArts CommonOperations没
Access 模型管理/在线服务/批量服务/边缘服务/边缘部署专属资源池 对象存储服务OBS OBS Administrator 云监控服务CES CES ReadOnlyAccess 消息通知服务SMN SMN Administrator 企业项目管理服务EPS EPS FullAccess
开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。 在线服务 在线推理服务，可以实现高并发，低延时，弹性伸缩，并且支持多模型灰度发布、A/B测试。将模型部署为一个Web Service，并且提供在线的测试UI与监控能力。 发布区域：华北-北京一、华北-北京四、华北-
调用创建ModelArts委托接口完成包含OBS、SWR等依赖服务的ModelArts委托。 调用配置授权接口配置ModelArts授权。该接口支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。 若没有授权，ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。
查看我的模型状态 步骤二 ：部署模型服务 模型创建成功后，在“我的模型”页面，单击目标模型右侧操作列的“部署”。 在“部署模型服务”页面，完成创建配置。 图4 资源设置 表3 部署模型服务 参数 说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 service-1122 描述
Standard，并进行在线推理预测的体验过程。 面向AI开发零基础的用户 从0-1制作自定义镜像并创建AI应用 针对ModelArts不支持的AI引擎，您可以构建自定义镜像，并将镜像导入ModelArts，创建为模型。本案例详细介绍如何使用自定义镜像创建模型，并部署成在线服务。 面向熟悉代
本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务
ModelArts SDK目前仅支持在ModelArts开发环境Notebook和本地PC两种环境使用。 ModelArts SDK不支持在训练作业和在线服务中使用。 ModelArts SDK已经集成在ModelArts开发环境Notebook中，可以直接使用，无需进行Session鉴权。
2）版本的PyCharm专业版工具，推荐Windows版本，社区版或专业版均可，请单击PyCharm工具下载地址获取工具并在本地完成安装。 使用PyCharm ToolKit远程连接Notebook开发环境，仅限PyCharm专业版。 使用PyCharm ToolKit提交训练作业，社区版和专业版都支持。
ModelArts Standard推理服务访问公网方案 端到端运维ModelArts Standard推理服务方案 使用自定义引擎在ModelArts Standard创建模型 使用大模型在ModelArts Standard创建模型部署在线服务 第三方推理框架迁移到ModelArts
本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务
约束限制 创建在线服务时，每秒服务流量限制默认为100次，若静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
12:00完成了图像分类，11:30:00完成了服务部署，并在12:00:00停止运行在线服务。同时，使用公共资源池运行实例，模型训练时选择资源池规格为CPU: 8 核 32GB、计算节点个数为1个（单价：3.40 元/小时）；服务部署时选择资源池规格为CPU: 8 核 32GB、计算节点个数为1个（单价：3
部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在“在线服务”的日志中查看到部分内容。 原因分析 推理服务的日志如果需要显示出来，需要代码中将日志打印到Console控制台。当前推理基础镜像使用的python的log模块
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
按需配置。 边缘服务 CES ces:metricData:list 查看服务的监控指标。 按需配置。 IEF IEF Administrator 管理边缘服务。 按需配置。 创建自定义策略时，建议将项目级云服务和全局级云服务拆分为两条策略，便于授权时设置最小授权范围。 委托 表3 部署上线所需委托
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
