-
Step2 在Notebook中调试模型 - AI开发平台ModelArts
重新打开一个新的Terminal终端,执行如下命令进行预测。 curl -kv -F 'images=@/home/ma-user/work/test.png' -X POST http://127.0.0.1:8080/ 图4 预测 在调试过程中,如果有修改模型文件或者推理脚本文件,需要重启run
-
从训练中选择元模型 - AI开发平台ModelArts
使用容器化部署,导入的元模型有大小限制,详情请参见导入AI应用对于镜像大小限制。 前提条件 请确保训练作业已运行成功,且模型已存储至训练输出的OBS目录下(输入参数为train_url)。 针对使用常用框架或自定义镜像创建的训练作业,需根据模型包规范介绍,将推理代码和配置文件上传至模型的存储目录中。
-
使用ModelArts Standard自动学习实现垃圾分类 - AI开发平台ModelArts
数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录,且此目录不能与输入位置一致,也不能为输入位置的子目录。 图4 下载详情 完成参数填写,单击“确定”,自动跳转至AI Gallery个人中心“我的下载”页签,单击按钮,查
-
使用ModelArts Standard自动学习实现垃圾分类 - AI开发平台ModelArts
数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录,且此目录不能与输入位置一致,也不能为输入位置的子目录。 图4 下载详情 完成参数填写,单击“确定”,自动跳转至AI Gallery个人中心“我的下载”页签,单击按钮,查
-
使用案例 - AI开发平台ModelArts
使用案例 主要包含两种场景的用例。 基于未标注数据创建数据集 基于已标注的数据创建数据集,并自动导入标注信息 基于未标注数据创建数据集 数据准备:存储在OBS文件夹中的未标注的数据。 from modelarts import workflow as wf # 通过CreateD
-
在Workflow中使用大数据能力(DLI/MRS) - AI开发平台ModelArts
output")) #输出的OBS路径 step = wf.steps.MrsJobStep( name="mrs_test", #step名称,可自定义 mrs_algorithm=algorithm,
-
孤立森林[PySpark版] - AI开发平台ModelArts
omaly)数据,从数据中找出与其它数据的规律不符合的数据。通常用于网络安全中的攻击检测和流量异常等分析,金融机构则用于挖掘出欺诈行为。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象。
-
删除训练作业 - AI开发平台ModelArts
训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。 无成功响应参数。 表2 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息,调用成功时无此字段。 error_code String
-
SFT全参微调数据处理 - AI开发平台ModelArts
里是生成的指令数据集,用于微调。 - workers:数据处理线程数。 -append-eod:用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列结束,可以帮助模型更好地理解和处理长序列。 - log-interval:输出处理日志刷新间隔。 输出结果 al
-
服务管理权限 - AI开发平台ModelArts
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
-
数据扩增 - AI开发平台ModelArts
Snow:雪 Clouds:云 do_validation:数据扩增前是否进行数据校验。默认值为True。 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。
-
准备数据 - AI开发平台ModelArts
上传OBS的文件规范: 预测分析项目的OBS数据路径需符合以下规则: 输入数据的OBS路径应指向数据文件,且文件不能直接放在OBS桶的根目录下,应该存放在OBS桶的文件夹内。如:“/obs-xxx/data/input.csv”。 输入数据的格式必须为csv格式,有效数据行数必须大于100行。
-
性能调优五板斧 - AI开发平台ModelArts
固定shape场景:固定shape是指在模型计算过程中,模型的输入和输出的shape是固定的。如果优先在线编译,可根据当前获得的算子信息,进行融合和优化,在线编译出运行性能更优的算子。反之,则编译优化少,性能降低。 动态shape场景:动态shape是指在模型计算过程中,模型的输入和输出存在多种shape。如果
-
训练作业使用MoXing拷贝数据较慢,重复打印日志 - AI开发平台ModelArts
程会消耗较长时间。 处理方法 在创建训练作业时,数据可以保存到OBS上。不建议使用TensorFlow、MXNet、PyTorch的OBS接口直接从OBS上读取数据。 如果文件较小,可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录,解压以后使用。
-
更新训练作业描述 - AI开发平台ModelArts
参数 是否必选 参数类型 描述 description 是 String 需要更改的训练作业的描述信息。 无成功响应参数 表3 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息,调用成功时无此字段。 error_code String
-
Step2 准备脚本文件并上传至OBS中 - AI开发平台ModelArts
base_period): test_cnt = 0 period = base_period while len(self.fmk_processes) > 0 and test_cnt < self.max_test_proc_cnt:
-
Step2 准备脚本文件并上传至OBS中 - AI开发平台ModelArts
base_period): test_cnt = 0 period = base_period while len(self.fmk_processes) > 0 and test_cnt < self.max_test_proc_cnt:
-
分布式训练完整代码示例 - AI开发平台ModelArts
int(train_samples / 2) val_label = [1] * int(test_samples / 2) + [0] * int(test_samples / 2) random.seed(2021) random
-
旧版训练迁移至新版训练需要注意哪些问题? - AI开发平台ModelArts
add_argument('--train_url', type=str, default="./Model", help='if is test, must provide\ path where the trained ckpt file')
-
Step1 制作自定义镜像 - AI开发平台ModelArts
notebook-test/my_image:0.0.1 -P XXX 其中“.ma/upgrade_ascend_mindspore_1.8.1_and_cann_5.1.RC2/Dockerfile”为Dockerfile文件所在路径,“notebook-test/my_image:0