检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ ModelArts平台是否支持多模型导入？ 在ModelArts中导入模型对于镜像大小有什么限制？ ModelArts在线服务和批量服务有什么区别？ ModelArts在线服务和边缘服务有什么区别？ 在ModelA
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 图5 访问在线服务 父主题： Standard推理部署
否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当托管的是自定义镜像时，上传的模型文件要满足自定义镜像规范，否则该镜像无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当文件状态变成“上传成功”表示数据文件成功上传至AI
为什么项目删除完了，仍然还在计费？ 如果ModelArts的自动学习项目、Notebook实例、训练作业或在线服务，都已经处于停止状态，即总览页面没看到收费项目，仍然发现账号还在计费。 有以下几种可能情况： 因为您在使用ModelArts过程中，将数据上传至OBS进行存储，OBS
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
约束限制 创建在线服务时，每秒服务流量限制默认为100次，若静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
面提示完成在线服务创建。本案例适用于CPU规格，节点规格需选择CPU。如果有免费CPU规格，可选择免费规格进行部署（每名用户限部署一个免费的在线服务，如果您已经部署了一个免费在线服务，需要先将其删除才能部署新的免费在线服务）。 图7 部署模型 完成服务部署后，返回在线服务页面列表
托管数据集到AI Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个数据集实例视作一个资产仓库，数据集实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓
Server，请手动安装。 解决方法 打开VS Code，选择“Help>About”，并记下“Commit”的ID码。 确认创建Notebook实例使用的镜像的系统架构，可以在Notebook中打开Terminal，通过命令uname -m查看。 下载对应版本的vscode-server，根据Comm
为“执行命令检查”时显示）、健康检查周期、延迟时间、超时时间、最大失败次数。 模型说明 显示创建模型时添加的模型说明文档信息。 系统运行架构 显示系统运行架构。 推理加速卡类型 显示推理加速卡类型。 表4 模型页签详情 参数 说明 模型精度 显示该模型的模型召回率、精准率、准确率和F1值。
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题： 使用ModelArts Standard部署模型并推理预测
存需求增多。 处理方法 在部署或升级在线服务时，选择更大内存规格的计算节点。 图3 选择计算节点规格 运行中服务出现告警时，需要分析是您的代码是否出现漏洞导致内存溢出、是否因为业务使用量太大需要更多的内存。如果因业务原因需要更多内存，请升级在线服务选择更大内存规格的计算节点。 父主题：
运行完成的工作流会自动部署为相应的在线服务，您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”直接跳转进入在线服务详情页，或者在ModelArts管理控制台，选择“模型部署 > 在线服务”，单击生成的在线服务名称，即可进入在线服务详情页。 在服务详情页，选择“预测”页签。
2版本进行远程连接。 VS Code安装指导如下： 图2 Windows系统下VS Code安装指导 Linux系统下，执行命令sudo dpkg -i code_1.85.2-1705561292_amd64.deb安装。 Linux系统用户，需要在非root用户进行VS Code安装。 父主题：
单击新建的模型名称左侧的小三角形，展开模型的版本列表。在操作列单击“部署 > 在线服务”，跳转至在线服务的部署页面。 在部署页面，参考如下说明填写关键参数。 “名称”：按照界面提示规则自定义一个在线服务的名称，也可以使用默认值。 “资源池”：选择“公共资源池”。 “模型来源”和
"application/json" } } ] 将模型部署为在线服务 参考部署为在线服务将模型部署为在线服务。 在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 父主题： 制作自定义镜像用于推理
下，该目录下的内容在实例停止后会被保留，存储支持在线按需扩容。 只能在单个开发环境中使用 。 并行文件系统PFS 说明： 并行文件系统PFS为白名单功能，如需使用，请联系华为技术支持开通。 仅支持挂载同一区域下的OBS并行文件系统（PFS）。 适合直接使用PFS桶作为持久化存储进行AI开发和探索，使用场景如下。
节点资源，不同机型的节点对应的操作系统、适用的CCE集群版本等不相同，为了便于您制作镜像、升级软件等操作，本文对不同机型对应的软件配套版本做了详细介绍。 裸金属服务器的对应的软件配套版本 表1 裸金属服务器 类型 卡类型 RDMA网络协议 操作系统 适用范围、约束 依赖插件 NPU
Snt9裸金属服务器支持的镜像详情 镜像名称：ModelArts-Euler2.8_Aarch64_Snt9_C78 表1 镜像详情 软件类型 版本详情 操作系统 EulerOS 2.0 (SP8) 内核版本 4.19.36-vhulk1907.1.0.h619.eulerosv2r8.aarch64
在Windows上安装配置Grafana 适用场景 本章节适用于在Windows操作系统的PC中安装配置Grafana。 操作步骤 下载Grafana安装包。 进入下载链接，单击Download the installer，等待下载成功即可。 安装Grafana。 双击安装包，按照指示流程安装完成即可。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
