检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最多可以添加10个预置评测数据集。 创建评测任务 登录ModelArts管理控制台,在左侧导航栏,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏,单击“模型评测”。 在“模型评测”页面右上角,单击“创建评测任务”进入创建页面,配置相关信息。
创建Workflow节点 创建Workflow数据集节点 创建Workflow数据集标注节点 创建Workflow数据集导入节点 创建Workflow数据集版本发布节点 创建Workflow训练作业节点 创建Workflow模型注册节点 创建Workflow服务部署节点 父主题:
调整模型后,部署新版本AI应用能否保持原API接口不变? ModelArts提供多版本支持和灵活的流量策略,您可以通过使用灰度发布,实现模型版本的平滑过渡升级。修改服务部署新版本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。
重试/停止/运行Workflow节点 重试/停止/继续运行Workflow节点 重试 当单个节点运行失败时,用户可以通过重试按钮重新执行当前节点,无需重新启动工作流。在当前节点的运行状况页面,单击“重试”。在重试之前您也可以前往权限管理页面修改配置,节点重试启动后新修改的配置信息可以在当前执行中立即生效。
),并且只能以英文字母开头,长度限制为64字符 是 str title 节点的标题信息,主要用于在DAG中的展示,如果该字段未填写,则默认使用name进行展示 否 str step_type 节点的类型,决定了节点的功能 是 enum inputs 节点的输入列表 否 Abstr
标题信息,不填默认使用name algorithm=wf.AIGalleryAlgorithm(subscription_id="subscription_ID", item_version_id="item_version_ID"), # 训练使用的算法对象,示例中使用AIGallery订阅的算法
构建Workflow多分支运行场景 Workflow多分支运行介绍 构建条件节点控制分支执行 配置节点参数控制分支执行 配置多分支节点数据 父主题: 开发Workflow命令参考
cluster_id 专属资源池ID,默认为空,不使用专属资源池。使用专属资源池部署服务时需确保集群状态正常;配置此参数后,则使用集群的网络配置,vpc_id参数不生效;与下方real-time config中的cluster_id同时配置时,优先使用real-time config中的cluster_id参数。
MaaS使用场景和使用流程 ModelArts Studio大模型即服务平台(后续简称为MaaS服务),提供了简单易用的模型开发工具链,支持大模型定制开发,让模型应用与业务系统无缝衔接,降低企业AI落地的成本与难度。 当您第一次使用MaaS服务时,可以参考快速入门使用ModelArts
ion下。 创建压缩作业 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型压缩”进入作业列表。 单击“创建压缩作业”进入创建页面,完成创建配置。
STR, default="True", description="是否使用jpeg预处理加速算子(仅支持jpeg格式数据),可加速数据读取,提升性能,默认启用。如果数据格式不是jpeg格式,开启数据清洗功能即可使用")) ] ), inputs=[wf
”进行参数配置。工作流相关的配置执行操作可参考如何使用Workflow。 基于release()方法,提供了release_and_run()方法,支持用户在开发态发布并运行工作流,节省了前往console配置执行的操作。 使用该方法时需要注意以下几个事项: Workflow中所
Notebook提示磁盘空间已满 问题现象 在使用Notebook时,提示磁盘空间已满:No Space left on Device。 在Notebook执行代码时,出现如下报错,提示:Disk quota exceeded。 原因分析 在JupyterLab浏览器左侧导航删除文件后,会默认放入回收站占用内存,导致磁盘空间不足。
发布Workflow到AI Gallery Workflow支持发布到AI Gallery,分享给其他用户使用,执行如下代码即可完成发布。 workflow.release_to_gallery() 发布完成后可前往gallery查看相应的资产信息,资产权限默认为private,可在资产的console页面自行修改。
基于JobStep的输出注册模型 基于OBS数据注册模型 使用模板方式注册模型 使用自定义镜像注册模型 使用自定义镜像+OBS的方式注册模型 使用订阅模型+OBS的方式注册模型 从训练作业中注册模型(模型输入来源JobStep的输出) import modelarts.workflow
返回的类型为dict,可按需打印查看 print(engine_dict) 使用案例 主要包含七种场景的用例: 使用订阅自AI Gallery的算法 使用算法管理中的算法 使用自定义算法(代码目录+启动文件+官方镜像) 使用自定义算法(代码目录+脚本命令+自定义镜像) 基于数据集版本发布节点构建作业类型节点
件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts Upload Files按钮,打开文件上传窗口,选择左侧的进入GitHub开源仓库Clone界面。 图1 上传文件图标 图2 进入GitHub开源仓库Clone界面
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
创建Workflow数据集节点 功能介绍 通过对ModelArts数据集能力进行封装,实现新版数据集的创建功能。主要用于通过创建数据集对已有数据(已标注/未标注)进行统一管理的场景,后续常见数据集导入节点或者数据集标注节点。 属性总览 您可以使用CreateDatasetStep来构建数据集创建节点,Cr