-
工具使用 - AI开发平台ModelArts
工具使用 使用约束 MA-Advisor Profing分析功能依赖输入的Profiling数据,需要用户先在训练或推理过程中进行Profiling数据采集,具体操作参考Profiling数据采集。 MA-Advisor命令总览 MA-Advisor当前支持如下四种命令: ana
-
模型管理权限 - AI开发平台ModelArts
模型管理权限 表1 模型管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 导入模型 POST /v1/{project_id}/models modelarts:model:create obs:bucket:ListAllMybuckets o
-
GPU A系列裸金属服务器更换NVIDIA和CUDA - AI开发平台ModelArts
7匹配的版本。因此必须卸载掉原版本。 sudo apt-get autoremove --purge *nccl* 删除原nccl-test的编译后文件。 由于nccl-test make编译也是基于当前cuda12.0版本的。 当cuda版本更换后,需要重新编译, 因此删除它。默认该文件在/r
-
VS Code连接开发环境失败常见问题 - AI开发平台ModelArts
ModelArts-xxx port xxx: Connection timed out"如何解决? 报错“Load key "C:/Users/xx/test1/xxx.pem": invalid format”如何解决? 报错“An SSH installation couldn't be found”或者“Could
-
查询可视化作业详情 - AI开发平台ModelArts
"apiTest-11", "create_time": 1565149736000, "train_url": "/wph-test/zl-test/Flowers-Set/ApiTest/", "job_id": 197, "job_desc": "ModelArts
-
随机森林分类特征重要性 - AI开发平台ModelArts
随机森林分类特征重要性 概述 采用随机森林分类算法计算数据集特征的特征重要性 输入 参数 子参数 参数说明 inputs dataframe 参数必选,表示输入的数据集;如果没有pipeline_model和random_forest_classify_model参数,表示直接根
-
LoRA微调训练 - AI开发平台ModelArts
LoRA微调训练 本章节以Llama2-70B为例,介绍LoRA微调训练的全过程。对于Llama2-7B和Llama2-13B,操作过程与Llama2-70B相同,只需修改对应参数即可。 Step1 LoRA微调数据处理 训练前需要对数据集进行预处理,转化为.bin和.idx格式文件,以满足训练要求。
-
预训练任务 - AI开发平台ModelArts
8192 非必填。默认值为8192。 Step2 启动训练脚本 请根据表1修改超参值后,再启动训练脚本。 单机启动 以GLM3-6B为例,单机训练启动样例命令如下,以自己实际为准。 进入代码目录/home/ma-user/ws/xxx-Ascend/llm_train/AscendS
-
模型调试 - AI开发平台ModelArts
es字段中读取需要安装的依赖包。 apis 否 String 模型提供的推理接口列表,默认为空。如果已在模型配置文件中配置apis信息时,则可不填,后台自动从配置文件中的apis字段读取所配置的推理接口信息。 表2 Environment参数说明 参数 是否必选 类型 说明 name
-
准备数据 - AI开发平台ModelArts
OBS上传文件规范 预测分析项目的OBS数据路径需符合以下规则: 输入数据的OBS路径应指向数据文件,且文件不能直接放在OBS桶的根目录下,应该存放在OBS桶的文件夹内。如:“/obs-xxx/data/input.csv”。 输入数据的格式必须为csv格式,数据文件不包括表头,有效数据行
-
使用案例 - AI开发平台ModelArts
使用案例 主要包含六种场景的用例: 基于JobStep的输出注册模型 基于OBS数据注册模型 使用模板方式注册模型 使用自定义镜像注册模型 使用自定义镜像+OBS的方式注册模型 使用订阅模型+OBS的方式注册模型 从训练作业中注册模型(模型输入来源JobStep的输出) import
-
集成在线服务 - AI开发平台ModelArts
调用方式请参见《SDK参考》>“场景1:部署在线服务Predictor的推理预测”。 除此之外,您还可以使用常见的开发工具及开发语言调用此接口,建议通过互联网搜索并获取调用标准Restful API的指导。 父主题: 部署AI应用(在线服务)
-
随机森林分类 - AI开发平台ModelArts
“随机决策森林分类”节点用于产生二分类或多分类模型。随机决策森林是用随机的方式建立一个森林模型,森林由很多的决策树组成,每棵决策树之间没有关联。当有一个新的样本输入时,森林中的每一棵决策树分别进行判断,哪一类被选择最多,就预测这个样本属于那一类。 随机决策森林分类中的决策树算法通过基尼不纯度(Gini
-
错误码 - AI开发平台ModelArts
service {id}. 服务{0}难例筛选未开启。 开启对应服务难例筛选后重试。 400 ModelArts.3839 The hard-select has been enabled for service {id}. 服务{0}难例筛选已开启。 对应服务难例筛选已开启,无需重复开启。 400
-
最小二乘法 - AI开发平台ModelArts
ALS(交替最小二乘)是一种求解矩阵分解问题的最优化方法。 “交替最小二乘”节点用于推荐,它通过矩阵分解手段快速实现用户对物品评分的预测。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象
-
SFT全参微调任务 - AI开发平台ModelArts
s/llama2目录下。训练前,可以根据实际需要修改超参配置。 微调任务配置,操作同预训练配置类似,不同点为RUN_TYPE类型不同,以及输入输出路径的配置的不同。SFT微调的计算量与预训练基本一致,故配置可以与预训练相同。 表1 SFT全参微调超参配置 参数 值 参数说明 DATASET_PATH
-
准备资源 - AI开发平台ModelArts
因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码以及输入输出数据存放OBS为例,请参考创建OBS桶,例如桶名:standard-llama2-13b。并在该桶下创建文件夹目录用于后续存储代码使用,例如:training_data。
-
什么是Workflow - AI开发平台ModelArts
板。 图2 工作流 Workflow提供的样例 ModelArts提供了丰富的基于场景的工作流样例,用户可以前往AI Gallery进行订阅。 产品会在AI Gallery中持续提供越来越多的资产。用户也可以自己开发Workflow样例,参见如何开发Workflow。 从AI G
-
模型训练 - AI开发平台ModelArts
在自动学习页面,单击创建成功的项目名称,进入“数据标注”页面,完成数据标注。 图1 完成数据标注 在“数据标注”页面,单击右上角“开始训练”,然后在弹出的“训练设置”对话框中,参考表1填写相关参数,然后单击“确定”,开始进行模型训练。 表1 训练设置参数说明 参数 说明 默认值 数据集版本名称 此版本即数据管理
-
购买Server资源 - AI开发平台ModelArts
购买资源的时长。支持自动续费,开通自动续费后,系统将在产品到期前自动续费,无需用户再手动操作。 协议 请阅读并同意相关协议。 高级配置 实例自定义数据注入,当前支持“以文本形式”和“以文件形式”。 选择购买量后,单击“立即创建”,完成实例的创建,随后进入付款界面。 支付对应资源的订单。 图2 支付订单 若有多