-
Caffe-CPU-py27通用模板 - AI开发平台ModelArts
那一层。 模板输入 存储在OBS上的Caffe模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。 对应的输入输出模式 未定义模式,可覆盖,即创建模型时支持选择其他输入输出模式。 模型包规范 模型包必须存储在OBS中,且必须以“model”
-
Caffe-GPU-py36通用模板 - AI开发平台ModelArts
l目录。 模板输入 存储在OBS上的Caffe模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。 对应的输入输出模式 未定义模式,可覆盖,即创建模型时支持选择其他输入输出模式。 模型包规范 模型包必须存储在OBS中,且必须以“model”
-
ARM-Ascend模板 - AI开发平台ModelArts
el目录。 模板输入 存储在OBS上的om模型包,确保您使用的OBS目录与ModelArts在同一区域。模型包的要求请参见模型包示例。 对应的输入输出模式 未定义模式,可覆盖,即创建模型时支持选择其他输入输出模式。 模型包规范 模型包必须存储在OBS中,且必须以“model”命名
-
LoRA微调训练 - AI开发平台ModelArts
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中,具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例,执行脚本0_pl_lora_13b
-
查询训练日志 - AI开发平台ModelArts
方式二:根据创建训练作业生成的训练作业对象查询。 log = job_instance.get_job_log(task_id="worker-0") print(log) 参数说明 表1 Estimator初始化参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。
-
数据清洗 - AI开发平台ModelArts
与“prototype_sample_path”目录下图片相似度高的数据。 请输入一个真实存在的OBS目录,该目录下已包含提供的正样例图片,且以obs://开头。如:obs://obs_bucket_name/folder_name。 criticism_sample_path 否
-
清除训练作业资源 - AI开发平台ModelArts
在“训练作业”页面,“删除”运行结束的训练作业。您可以单击“操作”列的“删除”,在弹出的提示框中单击“确认”,删除对应的训练作业。 进入OBS,删除本示例使用的OBS桶及文件。 完成资源清除后,您可以在总览页面的使用情况确认资源删除情况。 图1 查看使用情况 父主题: 完成一次训练
-
开发环境计费项 - AI开发平台ModelArts
如果未删除,则会按照EVS的计费规则进行持续计费。 按需计费 规格单价 * 使用时长 弹性文件服务SFS 用于存储运行Notebook实例时所需的数据。 具体费用可参见弹性文件服务价格详情。 注意: 存储到SFS中的数据需在SFS控制台进行手动删除。如果未删除,则会按照SFS的计费规则进行持续计费。
-
预训练任务 - AI开发平台ModelArts
多机必填。节点序号,当前节点ID,一般从0开始,单机默认是0。以Qwen-72B 5机训练为例,节点ID依次为(0 1 2 3 4);一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 容器的工作目录。训练的权重文件保存在此路径下。非必填,默认值为:/home/ma-user/ws。
-
API概览 - AI开发平台ModelArts
表12 服务管理接口 API 说明 部署服务 部署服务。 查询服务列表 查询服务列表。 查询服务详情 查询服务详情,根据服务ID查询服务详情。 启动停止边缘节点服务实例 启动停止边缘节点服务实例。 更新服务配置 更新模型服务。 查询服务监控信息 查询服务监控信息。 查询服务更新日志
-
SFT微调训练任务 - AI开发平台ModelArts
多机必填。节点序号,当前节点ID,一般从0开始。单机默认是0。以Qwen-72B 5机训练为例,节点ID依次为(0 1 2 3 4);一般ID为0的节点设置为主节点IP。 MODEL_PATH /home/ma-user/ws/processed_for_ma_input/Qwen-14B/converted_weights
-
SFT全参微调任务 - AI开发平台ModelArts
多机必填,单机忽略。节点序号,当前节点ID,一般从0开始,单机默认是0。以8机训练为例,节点ID依次为(0 1 2 3 4 5 6 7);一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 非必填。容器的工作目录。训练的权重文件保存在此路径下。默认值为:/home/ma-user/ws。
-
添加图片时,图片大小有限制吗? - AI开发平台ModelArts
方法1:使用导入功能。将图片上传至OBS任意目录,通过“从OBS目录导入”方式导入到已有数据集。 方法2:使用同步数据源功能。将图片上传到数据集输入目录下(或者其子目录),单击数据集详情页中的“同步数据源”将新增图片导入。需注意的是,同步数据源同时也会将OBS已删除的文件从数据集也删除,请谨慎操作。
-
AI开发基本流程介绍 - AI开发平台ModelArts
就是根据给定的输入做出判断或预测。 AI开发的目的是什么 AI开发的目的是将隐藏在一大批数据背后的信息集中处理并进行提炼,从而总结得到研究对象的内在规律。 对数据进行分析,一般通过使用适当的统计、机器学习、深度学习等方法,对收集的大量数据进行计算、分析、汇总和整理,以求最大化地开发数据价值,发挥数据作用。
-
ModelArts训练好后的模型如何获取? - AI开发平台ModelArts
使用自动学习产生的模型只能在ModelArts上部署上线,无法下载至本地使用。 使用自定义算法或者订阅算法训练生成的模型,会存储至用户指定的OBS路径中,供用户下载。 父主题: 功能咨询
-
昇腾云服务6.3.T061版本说明 - AI开发平台ModelArts
昇腾云服务6.3.T061版本说明 本文档主要介绍昇腾云服务6.3.T061版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 新增主要特性 获取方式 配套关系 PyTorch: 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud
-
上传镜像 - AI开发平台ModelArts
使用客户端上传镜像,镜像的每个layer大小不能大于10G。 上传镜像的容器引擎客户端版本必须为1.11.2及以上。 操作步骤 连接容器镜像服务。 登录容器镜像服务控制台。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命
-
属性总览 - AI开发平台ModelArts
只能以英文字母开头,长度限制为64字符)。同一个Step的输入名称不能重复 是 str data 数据集标注节点的输入数据对象 是 数据集或标注任务相关对象,当前仅支持Dataset, DatasetConsumption, DatasetPlaceholder,LabelTas
-
预训练任务 - AI开发平台ModelArts
多机必填,单机忽略;节点序号,当前节点ID,一般从0开始,单机默认是0。以8机训练为例,节点ID依次为(0 1 2 3 4 5 6 7);一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 非必填。容器的工作目录。训练的权重文件保存在此路径下。默认值为:/home/ma-user/ws。
-
性能调优 - AI开发平台ModelArts
--inputShape="input.1:1,3,224,224" --optimize=ascend_oriented 常量折叠是编译器优化中的通用技术之一,在编译节点简化常量表达。通过多数的现代编译器不会真的产生两个乘法的指令再将结果存储下来,取而代之的是会识别出语句的结构,并在编译时期将数值计算出来而不是运行时去计算(在本例子,结果为2