-
使用大模型创建AI应用部署在线服务 - AI开发平台ModelArts
当用户使用自定义引擎时,默认开启动态加载,模型包与镜像分离,在服务部署时动态将模型加载到服务负载。 配置健康检查 大模型场景下导入的AI应用,要求配置健康检查,避免在部署时服务显示已启动但实际不可用。 图3 采用自定义引擎,开启动态加载并配置健康检查示例图 部署在线服务 部署服务时,需满足以下参数配置: 自定义部署超时时间
-
使用案例 - AI开发平台ModelArts
指定metric的输出路径,相关指标信息由作业脚本代码根据指定的数据格式自行输出(示例中需要将metric信息输出到训练输出目录下的metrics.json文件中) ], spec=wf.steps.JobSpec( resource=wf.steps.JobResource(
-
ModelArts权限管理基本概念 - AI开发平台ModelArts
表自己访问特定的云服务,以完成其在ModelArts平台上执行的AI计算任务。 综上,对于图1 权限管理抽象可以做如下解读: 用户访问任何云服务,均是通过标准的IAM权限体系进行访问控制。用户首先需要具备相关云服务的权限(根据您具体使用的功能不同,所需的相关服务权限多寡亦有差异)。
-
启动智能任务 - AI开发平台ModelArts
模型部署的实例数,即计算节点的个数。 model_id 否 String 模型ID。 specification 否 String 在线服务的资源规格。详见部署服务 weight 否 Integer 权重百分比,分配到此模型的流量权重;仅当infer_type为real-time时需要配置,多个权重相加必须等于100。
-
验收团队标注任务结果 - AI开发平台ModelArts
未验收的图片,设置其“验收结果”。 完成验收 继续验收完成后,单击右上角“完成验收”在完成验收窗口,您可以查看本标注作业的验收情况,如抽样文件数等,同时设置如下参数,然后进行验收。只有完成验收,标注信息才会同步到标注作业的已标注页面中。 一旦标注数据完成验收,团队成员无法再修改标注信息,只有数据集创建者可修改。
-
场景介绍 - AI开发平台ModelArts
otebook。 部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。 父主题: 主流开源大模
-
属性总览 - AI开发平台ModelArts
false:不导入样本 否 bool import_type 导入方式。可选值如下: dir:目录导入 manifest:按manifest文件导入 否 ImportTypeEnum included_labels 导入包含指定标签的样本。 否 Label的列表 label_format
-
批量删除标签 - AI开发平台ModelArts
Integer 是否删除标签及包含标签的样本。可选值如下: 0:只删除标签 1:删除标签及包含标签的样本 2:删除标签和包含标签的样本及其源文件 请求参数 表3 请求Body参数 参数 是否必选 参数类型 描述 labels 否 Array of Label objects 待删除标签列表。
-
创建超参搜索作业 - AI开发平台ModelArts
请准备好训练脚本,并上传至OBS目录。训练脚本开发指导参见开发自定义脚本。 在训练代码中,用户需打印搜索指标参数。 已在OBS创建至少1个空的文件夹,用于存储训练输出的内容。 由于训练作业运行需消耗资源,确保账户未欠费。 确保您使用的OBS目录与ModelArts在同一区域。 创建算法
-
查询开发环境实例列表 - AI开发平台ModelArts
String 存储类型,当前支持“obs”、“obsfs” 和“evs”,其中,obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统,请提工单。 location 否 Object 存储位置,如果type为“obs”类型,该参数必须填写,如表15所示数据结构,如缺省值为“NULL”。
-
免费体验AI全流程开发 - AI开发平台ModelArts
参考部署为在线服务,将导入的模型部署为在线服务。 在“计算节点规格”中,选择带有“免费规格”标识的规格,部署在线服务。 在服务管理列表中,使用免费规格创建的服务,名称右侧带“免费”标识,等待服务部署完成,当状态变为“运行中”时,表示服务已部署完成。 您可以单击服务名称进入服务详情页面,
-
管理AI应用简介 - AI开发平台ModelArts
后得到的模型创建为AI应用,用于部署服务。 从对象存储服务(OBS)中选择:如果您使用常用框架在本地完成模型开发和训练,可以将本地的模型按照模型包规范上传至OBS桶中,从OBS将模型导入至ModelArts中,创建为AI应用,直接用于部署服务。 从容器镜像中选择:针对ModelA
-
修订记录 - AI开发平台ModelArts
修订记录 发布日期 修改说明 2022-08-15 界面优化,刷新内容。 2022-05-25 支持订阅Workflow。 订阅Workflow AI Gallery新增“生态合作”模块。 合作伙伴 需求广场 2021-12-30 界面优化,刷新内容。 2021-9-30 新增案例库:
-
本地/ECS构建镜像,如何减小目的镜像的大小? - AI开发平台ModelArts
本地/ECS构建镜像,如何减小目的镜像的大小? 减小目的镜像大小的最直接的办法就是选择尽可能小且符合自己诉求的镜像,比如您需要制作一个PyTorch2.1+Cuda12.2的镜像,官方如果没有提供对应的PyTorch或者Cuda版本的镜像,优选一个没有PyTorch环境或没有安装
-
ModelArts支持使用ECS创建专属资源池吗? - AI开发平台ModelArts
ModelArts支持使用ECS创建专属资源池吗? 不支持。创建资源池时,只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源,但是无法使用账号下购买的ECS,作为ModelArts专属资源池。 父主题: 资源池
-
删除Notebook实例 - AI开发平台ModelArts
SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。 ownership String 资源所属,枚举值如下: MANAGED:托管,即资源在服务上。 DEDICA
-
查询Notebook实例详情 - AI开发平台ModelArts
SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。 ownership String 资源所属,枚举值如下: MANAGED:托管,即资源在服务上。 DEDICA
-
停止Notebook实例 - AI开发平台ModelArts
SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。 ownership String 资源所属,枚举值如下: MANAGED:托管,即资源在服务上。 DEDICA
-
启动Notebook实例 - AI开发平台ModelArts
SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。 ownership String 资源所属,枚举值如下: MANAGED:托管,即资源在服务上。 DEDICA
-
分支控制 - AI开发平台ModelArts
景类似,但功能更加强大。当前该能力适用于数据集创建节点、数据集标注节点、数据集导入节点、数据集版本发布节点、作业类型节点、模型注册节点以及服务部署节点。 使用案例 控制单节点的执行 通过参数配置实现 from modelarts import workflow as wf condition_equal