检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否 String 算法管理的算法id。 name 否 String 算法名称。无需填写。 subscription_id 否 String 订阅算法的订阅ID。应与item_version_id一同出现。 item_version_id 否 String 订阅算法的版本。应与subscription_id一同出现。
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。 检查资源分配情况(
使用PyCharm Toolkit插件连接Notebook 由于AI开发者会使用PyCharm工具开发算法或模型,为方便快速将本地代码提交到ModelArts的训练环境,ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成SSH远程连接N
选择创建方式(使用我的算法) 如果选择使用已有算法创建训练作业,则“创建方式”选择“我的算法”,在算法列表中选择算法。如果没有满足条件的算法,也可以新建算法,具体操作请参见创建算法。 选择创建方式(使用订阅算法) 如果选择使用订阅算法创建训练作业,则“创建方式”选择“订阅算法”,在算法列表中选
使用PyCharm ToolKit创建并调试训练作业 由于AI开发者会使用PyCharm工具开发算法或模型,为方便快速将本地代码提交到ModelArts的训练环境,ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成SSH远程连接Note
您可以单击编辑图标,更新训练作业的描述。 “作业优先级” 显示训练作业的优先级。 训练作业参数 表2 训练作业参数 参数 说明 “算法名称” 本次训练作业使用的算法。单击算法名称,可以跳转至算法详情页面。 “预置镜像” 本次训练作业使用的预置镜像框架。仅使用预置框架创建的训练作业才有该参数。 “自定义镜像”
美-圣地亚哥 使用订阅算法开发模型 ModelArts的AI Gallery上存在较多开发者分享的算法,不需要进行代码开发,即可使用现成的算法进行模型构建。 使用订阅算法开发模型教程 使用自定义算法开发模型 如果订阅算法不能满足需求或者用户希望迁移本地算法至云上训练,可以考虑使用
另一方面,由于是使用transformers推理,结果也是最稳定的。对单卡运行的模型比较友好,算力利用率比较高。对多卡运行的推理,缺少负载均衡,利用率低。 在昇腾卡上执行时,需要在 opencompass/opencompass/runners/local.py 中添加如下代码
modelarts:trainJob:logExport - √ √ 创建算法 POST /v2/{project_id}/algorithms modelarts:aiAlgorithm:create - √ √ 更新算法 PUT /v2/{project_id}/algorithms/{algorithm_id}
数据分析 数据集创建完成后,可以基于图片各项特征,如模糊度、亮度等进行分析,帮助用户更好的分析数据集的数据质量,判断数据集是否满足自己的算法和模型要求。 创建特征分析任务 在执行特征分析前,需先发布一个数据集版本。在“数据集概览”页单击右上角的“发布”,为数据集发布一个新版本。
# 算法订阅ID item_version_id="item_version_id", # 算法订阅版本ID,也可直接填写版本号 parameters=[] ), # 训练使用的算法对象,示例中使用AIGallery订阅的算法;部分
ModelArts Standard支持用户构建自定义镜像用于模型训练。 自定义镜像的制作要求用户对容器相关知识有比较深刻的了解,除非订阅算法和预置框架无法满足需求,否则不推荐使用。自定义镜像需上传至容器镜像服务(SWR),才能用于ModelArts Standard上训练。 自定义镜像的启动命令规范
String 训练作业算法。目前支持三种形式: id:只取算法的id; subscription_id+item_version_id:取算法的订阅id和版本id; code_dir+boot_file:取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id
已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入: cd /home/ma-user/work/Qwen-VL;
load_balancer_policy 否 String 只支持在线同步服务设置后端elb转发策略,枚举值:ROUND_ROBIN(加权轮询算法),LEAST_CONNECTIONS(加权最少连接),SOURCE_IP(源ip算法) service_secrets 否 Array of ServiceSecret
release_to_gallery(title="资产名称")发布Workflow新资产,版本号为"1.0.0";如果Workflow包含非gallery的算法,则自动将依赖算法发布至gallery,版本号为"1.0.0"。 Workflow.release_to_gallery(content_id="**"
当前支持的数据类型包括:int、str、bool、float、Enum、dict、list。开发者可根据场景需要,将节点中的相关字段(如算法超参)通过Placeholder的形式透出,支持设置默认值,供用户修改配置使用。 属性总览(Placeholder) 属性 描述 是否必填
load_balancer_policy String 在线同步服务设置elb后端转发策略详情枚举值:ROUND_ROBIN(加权轮询算法),LEAST_CONNECTIONS(加权最少连接),SOURCE_IP(源ip算法) priority Integer 抢占优先级,取值范围[1,
String 算法管理的算法id。 枚举值: id:只取算法的id; subscription_id+item_version_id:取算法的订阅id和版本id; code_dir+boot_file:取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id
String 训练作业算法。目前支持三种形式: id:只取算法的id; subscription_id+item_version_id:取算法的订阅id和版本id; code_dir+boot_file:取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id