检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
页,将导致前一页的标注信息丢失,需重新标注。 图2 数据标注-文本分类 添加或删除数据 自动学习项目中,数据来源为数据集中输入位置对应的OBS目录,当目录下的数据无法满足现有业务时,您可以在ModelArts自动学习页面中,添加或删除数据。 添加文件 在“未标注”页签下,可单击页
SDK的接口。在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。 本地安装SDK。如果本地未安装SDK,可参考(可选)本地服务器安装ModelArts SDK安装;如果本地已安装,则无需再次安装。
操作步骤 打开ModelArts Notebook。 选中Notebook文件(ipynb文件),创建定时任务。 图1 打开Notebook Jobs 在Create Job界面,填写参数后单击“create”。 图2 创建定时任务参数填写 Job name:定时任务名称。 Enviro
根据提示完成身份验证,下载密钥,并妥善保管。 获取在线服务信息 在调用接口时,需获取在线服务的调用地址,以及在线服务的输入参数信息。步骤如下: 登录ModelArts管理控制台,在左侧导航栏中选择“模型部署 > 在线服务”,默认进入“在线服务”列表。 单击目标服务名称,进入服务详情页面。 在“在线服务”的详情页面,可以获取该服务的调用地址和输入参数信息。
使用数据处理的数据扩增功能后,新增图片没有自动标注 视频数据集无法显示和播放视频 使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里,在modelarts中同步数据源以后看不到已标注,全部显示为未标注 如何使用soft NMS方法降低目标框堆叠度 ModelArts标注数据丢失,看不到标注过的图片的标签
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型
ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore、PyTorch。适用于Standard开发环境,模型训练,服务部署,请参考下表。镜像的URL、包含的依赖项等详细信息请参考ModelArts统一镜像列表。 表1 MindSpore 预置镜像 适配芯片
在“运行时长控制”选择是否指定运行时长。 不限时长:不限制作业的运行时长,AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长:设置作业运行几小时后停止,当AI Gallery工具链服务运行时长达到指定时长时,系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明:
服务。 ModelArts SDK使用限制 本地ModelArts SDK不支持进行训练作业调测、模型调试和在开发环境中部署本地服务进行调试,当前仅支持在开发环境Notebook中调试。 本地安装ModelArts SDK步骤 在本地安装ModelArts SDK,具体的配置步骤如下:
准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练 介绍如何进行预训练
当您需要限制用户操作,仅为ModelArts用户配置OBS相关的最小化权限项,具体操作请参见OBS权限管理。对于其他云服务,也可以进行精细化权限控制,具体请参考对应的云服务文档。 ModelArts委托授权 前文已经介绍,ModelArts在执行AI计算任务过程中,需要“代表”用户去访问其他云服务,而此动作需要提前
息写入对应的Manifest文件中。 数据集版本文件目录结构 由于数据集是基于OBS目录管理的,发布为新版本后,对应的数据集输出位置,也将基于新版本生成目录。 以图像分类为例,数据集发布后,对应OBS路径下生成,其相关文件的目录如下所示。 |-- user-specified-output-path
单模型性能调优AOE 使用AOE工具可以在模型转换阶段对于模型运行和后端编译过程进行执行调优。请注意AOE只适合静态shape的模型调优。在AOE调优时,容易受当前缓存的一些影响,建议分两次进行操作,以达到较好的优化效果(第一次执行生成AOE的知识库,在第二次使用时可以复用)。在
、华北-北京四、华东-上一、华南-广州(以界面上实际支持的区域为准)。 下载数据集。 在AI Gallery中下载数据集时,不管是下载至OBS还是下载至数据集,均需设置对应的使用区域。支持的区域与ModelArts相同,包含华北-北京一、华北-北京四、华东-上一、华南-广州(以界面上实际支持的区域为准)。
当您需要限制用户操作,仅为ModelArts用户配置OBS相关的最小化权限项,具体操作请参见OBS权限管理。对于其他云服务,也可以进行精细化权限控制,具体请参考对应的云服务文档。 ModelArts委托授权 前文已经介绍,ModelArts在执行AI计算任务过程中,需要“代表”用户去访问其他云服务,而此动作需要提前
的费用可能会有偏差。请以华为云官网发布的数据为准。 在使用ModelArts进行AI开发时,会将数据保存至OBS、EVS或SFS中,此时会产生单独的存储计费,具体费用以OBS、EVS和SFS的计费标准为准。 计费模式 计算规则 付费周期 费用计算 按需计费 计算资源费用:规格单价
默认为1。 service_name:服务名称,保存评测结果时创建目录,示例为:qwen-14b-test。 eval_dataset:评测使用的评测集(枚举值),目前仅支持mmlu、ceval。 service_url:服务接口地址,若服务部署在notebook中,该地址为"http://127
引擎空间的默认为50G,专属资源池容器引擎空间可在创建资源池时自定义设置,设置专属资源池容器引擎空间不会造成额外费用增加。 如果使用的是OBS导入或者训练导入,则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入,则包含解压后镜像和镜像下载文件的大小总和。
service_name:服务名称,保存评测结果时创建目录,示例为:llama2-13b-chat-test。 eval_dataset:评测使用的评测集(枚举值),目前仅支持mmlu、ceval。 service_url:成功部署推理服务后的服务预测地址,示例:http://
便地替换驱动、固件和上层开发包,具有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 开通裸金属服务器资源请参见DevServer资源开通,在裸金属服务器上搭建迁移环境请参见裸金属服务器环境配置指导,使用ModelArts提供的基础容器镜像请参见容器环境搭建。