检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
model:/home/mind/model custom_engine:v1 该指令无法完全模拟线上,主要是由于-v挂载进去的目录是root权限。在线上,模型文件从OBS下载到/home/mind/model目录之后,文件owner将统一修改为ma-user。 在本地机器上启动另一个终端
使用Notebook进行AI开发调试 Notebook使用场景 创建Notebook实例 通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook
导入模型 如何将Keras的.h5格式模型导入到ModelArts中 导入模型时,模型配置文件中的安装包依赖参数如何编写? 使用自定义镜像创建在线服务,如何修改默认端口 ModelArts平台是否支持多模型导入 导入AI应用对于镜像大小的限制 父主题: 模型管理
正常”。 单击新建的模型名称左侧的小三角形,展开模型的版本列表。在操作列单击“部署 > 在线服务”,跳转至在线服务的部署页面。 在部署页面,参考如下说明填写关键参数。 “名称”:自定义一个在线服务的名称,也可以使用默认值。 “资源池”:选择“公共资源池”。 “模型来源”和“选择模型及版本”:会自动选择模型和版本号。
ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后,其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Noteb
model:/home/mind/model custom_engine:v1 该指令无法完全模拟线上,主要是由于-v挂载进去的目录是root权限。在线上,模型文件从OBS下载到/home/mind/model目录之后,文件owner将统一修改为ma-user。 在本地机器上启动另一个终端
发布和管理AI Gallery镜像 发布和管理AI Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型 Gallery CLI配置工具指南 计算规格说明
配置CES云监控和SMN消息通知使用权限。ModelArts推理部署的在线服务详情页面内有调用次数详情,单击可查看该在线服务的调用次数随时间详细分布的情况。如果想进一步通过CES云监控查看ModelArts的在线服务和对应模型负载运行状态的整体情况,需要给子账号授予CES权限。 如果只是查看监控,给子账号授予CES
支持3条。 “部署类型” 选择此模型支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择在线服务,那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 确认信息填写无误,单击“立即创建”,完成模型的创建。 在模型列表中,您可以查
Diffusion WebUI如何适配。 AI推理应用运行在昇腾设备上一般有两种方式: 方式1:通过Ascend PyTorch,后端执行推理,又称在线推理。 方式2:通过模型静态转换后,执行推理,又称离线推理。 通常为了获取更好的推理性能,推荐使用方式2的离线推理。下文将以Diffusers
Standard训练作业:用户在运行训练作业时,可以查看训练作业占用的CPU、GPU或NPU资源使用情况。具体请参见训练资源监控章节。 Standard在线服务:用户将模型部署为在线服务后,可以通过监控功能查看该推理服务的CPU、内存或GPU等资源使用统计信息和模型调用次数统计,具体参见查看推理服务详情章节。
AI开发平台ModelArts ModelArts CommonOperations ModelArts Dependency Access 模型管理/在线服务/批量服务/边缘服务/边缘部署专属资源池 对象存储服务OBS OBS Administrator 云监控服务CES CES ReadOnlyAccess
04-x86_64 request_mode Array of strings 请求模式,AI引擎支持部署为同步在线服务或异步在线服务。 sync:同步在线服务 async:异步在线服务 accelerators Array of Accelerator objects AI引擎可使用的加速卡。
步骤六:预测分析 运行完成的工作流会自动部署相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,单击选择“预测”页签。
步骤六:预测分析 运行完成的工作流会自动部署相应的在线服务,您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”或者在ModelArts管理控制台,选择“模型部署 > 在线服务”,单击生成的在线服务名称,即可进入在线服务详情页。 在服务详情页,单击选择“预测”页签。
即切换使用新域名。为保障持续提供推理服务,请您及时更新业务中的预测API的域名。 如果您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无法识别公网域名,请提交工单联系华为云技术支持打通网络。 父主题: 产品变更公告
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换AI应用的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
PyTorch、TensorFlow和MindSpore等引擎的AI模型。 支持通过JupyterLab工具在线打开Notebook,具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。 支持本地IDE的方式开发模型,通过开启SSH连接,用户本地IDE可以
ModelArts Standard数据管理支持多维度数据管理能力 数据集管理:提供数据集创建、数据预览、数据集版本管理等能力 数据标注:提供在线标注能力,包含图像分类、目标检测、音频分割、文本三元组等标注场景;提供图片智能标注方案,提升标注效率;提供团队标注能力,支持多人协同标注与标注任务的审核验收
像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 说明: 建议写清楚模型的使用方法,方便使用者更好的完成训练、推理任务。 表2 任务类型支持的AI Gallery工具链服务 任务类型 微调大师 在线推理服务 AI应用 文本问答/文本生成 支持 支持 支持 其他类型