-
获取自动化搜索作业yaml模板的信息 - AI开发平台ModelArts
获取自动化搜索作业yaml模板的信息 功能介绍 获取自动化搜索作业yaml模板的信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{projec
-
获取自动化搜索作业yaml模板的内容 - AI开发平台ModelArts
获取自动化搜索作业yaml模板的内容 功能介绍 获取自动化搜索作业yaml模板的内容。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{projec
-
提前终止自动化搜索作业的某个trial - AI开发平台ModelArts
提前终止自动化搜索作业的某个trial 功能介绍 提前终止自动化搜索作业的某个trial。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{pro
-
Flow - AI开发平台ModelArts
Flow 本小节介绍了基于算法开发套件进行自动化流水线构建的相关参数。目前仅支持串行流,以list进行表示,其中的node以dict进行表示,node一般对应于tools中的一个脚本,运行node本质上是直接运行相应脚本。 参数说明 - type: 表示node的类型,目前支持l
-
什么是ModelArts - AI开发平台ModelArts
什么是ModelArts ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及模型按需部署能力,帮助用户快速创建和部署AI应用,管理全周期AI工作流。 “一站式”是指AI开发的各个环节,包括数据处理、算法开发、模
-
什么是ModelArts - AI开发平台ModelArts
什么是ModelArts ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 “一站式”是指AI开发的各个环节,包括数据处理、算法开
-
计费说明 - AI开发平台ModelArts
计费说明 ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署AI应用,管理全周期AI工作流。 ModelArts服务的计费方式简单、灵活,您既可以选择按实际使用
-
使用预置框架(自定义脚本) - AI开发平台ModelArts
使用预置框架(自定义脚本) 使用预置框架简介 开发自定义脚本 创建算法 父主题: 准备算法
-
自动学习 - AI开发平台ModelArts
者实现算法的开发,基于迁移学习、自动神经网络架构搜索实现模型自动生成,通过算法实现模型训练的参数自动化选择和模型自动调优的自动学习功能,让零AI基础的业务开发者可快速完成模型的训练和部署。依据开发者提供的标注数据及选择的场景,无需任何代码开发,自动生成满足用户精度要求的模型。可支
-
创建算法 - AI开发平台ModelArts
中英文逗号和中英文句号。 支持的策略 ModelArts支持用户使用自动化搜索功能。自动化搜索功能在零代码修改的前提下,自动找到最合适的超参,有助于提高模型精度和收敛速度。详细的参数配置请参考超参搜索配置。 自动搜索目前仅支持pytorch_1.8.0-cuda_10.2-py_3
-
镜像保存时报错“The container size (xG) is greater than the threshold (25G)”如何解决? - AI开发平台ModelArts
threshold (25G)”,镜像创建失败。 原因分析 镜像保存本质是通过在资源集群节点上的agent中进行了docker commit,再配合一系列自动化操作来上传和更新管理数据等。每次Commit都会带来额外的一些开销,层数越多镜像越大,如果多次保存后就会有存储显示没那么大,但是镜像已经很
-
创建失败的专属资源池删除后,控制台为什么还能看到? - AI开发平台ModelArts
然可以查询到资源池。若需要创建专属资源池,建议等待5min后再创建,且不要使用已创建过的专属资源池名称来命名新建的专属资源池。如果做UI自动化测试,建议用例用随机串替代。 父主题: 资源池
-
执行spark sql脚本 - AI开发平台ModelArts
执行spark sql脚本 概述 对数据集执行spark sql脚本操作。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 sql_string
-
开发自定义脚本 - AI开发平台ModelArts
建议设置一个空目录为训练输出路径。在训练代码中,您需要解析输出路径参数。系统后台会自动上传训练输出至指定的训练输出路径,请保证您设置的桶路径有写入权限和读取权限。 在ModelArts中,训练代码需包含以下步骤: (可选)引入依赖 当您使用自定义脚本创建算法的时候,如果您的模型引用了其他依赖,您需要在“算法管理
-
训练脚本说明 - AI开发平台ModelArts
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Standard适配PyTorch NPU训练指导(6.3.905)
-
训练脚本说明 - AI开发平台ModelArts
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于DevServer适配PyTorch NPU训练指导(6.3.905)
-
本地IDE操作流程 - AI开发平台ModelArts
在用户的PC端配置本地IDE环境。 支持通过PyCharm、VS Code、SSH工具本地IDE连接云上Notebook。PyCharm和VS Code可以使用插件自动化配置,也可以手工配置。 创建Notebook实例 在ModelArts控制台上创建一个Notebook开发环境实例,选择要使用的AI框架,并开启SSH远程开发功能。
-
逻辑回归分类 - AI开发平台ModelArts
逻辑回归分类 概述 “逻辑回归”节点用于数据二分类,支持自动化建模。它可以根据输入训练集高效地完成参数自动调优,并通过LOGISTIC函数将线性回归的输出映射到[0,1]区间,最后根据阈值判断完成数据二分类。 逻辑回归本质上是一种线性分类方法,因此在考虑使用逻辑回归模型前,要保证
-
镜像管理 - AI开发平台ModelArts
中,通过容器镜像的方式,将运行环境进行固化,以这种方式不仅能够进行依赖管理,而且可以方便的完成工作环境切换。配合ModelArts提供的云化容器资源使用,可以更加快速、高效的进行AI开发与模型实验的迭代等。 ModelArts默认提供了一组预置镜像供开发使用,这些镜像有以下特点:
-
训练启动脚本说明和参数配置 - AI开发平台ModelArts
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。