-
AI Gallery简介 - AI开发平台ModelArts
下架后,已发布资产仅发布者可见。已经被订阅的资产,即便资产下架后,基于配额资源的约束,仍然可有效使用该资产,不会因为该资产的下架而产生使用问题。 父主题: AI Gallery(旧版)
-
编写Workflow - AI开发平台ModelArts
default="True", description="是否使用jpeg预处理加速算子(仅支持jpeg格式数据),可加速数据读取,提升性能,默认启用。如果数据格式不是jpeg格式,开启数据清洗功能即可使用")) ] ), inputs=[wf.steps
-
安全边界 - AI开发平台ModelArts
准入校验机制,保证制品源头的安全性 权限配置和凭证下发权限最小化 AI应用运行时(自定义镜像,OBS模型和依赖)的安全性 及时更新修复安全问题 凭证等敏感数据的安全存储 推理部署安全最佳实践 外部依赖服务 ModelArts推理使用中需要用到一些其他的云服务,当您需要授权时,可以
-
图像分割 - AI开发平台ModelArts
或“已标注”页签中,单击“同步新数据”,快速将数据集中的数据添加到标注作业中。 问题现象: 将已标注好的数据上传至OBS,同步数据后,显示为未标注。 原因分析: 可能是OBS桶设置了自动加密导致此问题。 解决方法: 需要新建OBS桶重新上传数据,或者取消桶加密后,重新上传数据。 筛选数据
-
准备数据 - AI开发平台ModelArts
密桶无法解密导致后期的训练失败。 创建数据集 数据准备完成后,需要创建预测分析项目支持的类型的表格数据集,具体操作请参考创建数据集。 常见问题 使用从OBS选择的数据创建表格数据集如何处理Schema信息? Schema信息代表表格的列名和对应类型,需要跟导入数据的列数保持一致。
-
托管模型资产 - AI开发平台ModelArts
选择构建模型使用的AI开发框架。 任务类型 选择模型支持的任务类型,不同任务类型支持的AI Gallery工具链服务请参见表3。 文本问答:从给定文本中检索问题的答案,适用于从文档中搜索答案的场景。 文本生成:基于给定文本进行续写,生成新的文本。 其他类型:基于实际场景选择合适的任务类型。 说明:
-
常用操作的样例代码 - AI开发平台ModelArts
当被追加的源文件比较大时,例如“obs://bucket_name/obs_file.txt”文件大小超过5MB时,追加一个OBS文件的性能比较低。 如果以写入模式或追加模式打开文件,当调用write方法时,待写入内容只是暂时的被存在的缓冲区,直到关闭文件对象(退出with语句
-
迁移适配 - AI开发平台ModelArts
nk为-1为单卡模式,多卡模式下无需指定,会默认启动DistributedDataParallel(DDP) 多卡并行模式,具体详情见常见问题1。GPU环境单卡执行同样需要指定local_rank为 -1。 多卡分布式执行 PyTorch框架下常见的多卡分布式执行主要包括DataParallel(DP)
-
自动学习训练作业失败 - AI开发平台ModelArts
注框为矩形框。 如果使用非矩形框,可能存在以下报错: Error bandbox. 针对其他类型的项目(图像分类、声音分类等),无需关注此问题。 预测分析作业失败的排查思路 检查用于预测分析的数据是否满足要求。 由于预测分析任务未使用数据管理的功能发布数据集,因此当数据不满足训练
-
物体检测 - AI开发平台ModelArts
或“已标注”页签中,单击“同步新数据”,快速将数据集中的数据添加到标注作业中。 问题现象: 将已标注好的数据上传至OBS,同步数据后,显示为未标注。 原因分析: 可能是OBS桶设置了自动加密导致此问题。 解决方法: 需要新建OBS桶重新上传数据,或者取消桶加密后,重新上传数据。 筛选数据
-
Ascend场景日志说明 - AI开发平台ModelArts
ment.txt文件,会产生pip包安装日志。 ModelArts平台日志:ModelArts平台产生的系统日志,主要用于运维人员定位平台问题。 合并输出在日志文件modelarts-job-[job id]-[task id].log中。 task id表示计算节点id,单节点
-
发布免费算法 - AI开发平台ModelArts
Gallery数字内容发布协议》和《华为云AI Gallery服务协议》。 单击“发布”。 发布使用容器镜像导入的资产时,后台会进行资产安全扫描,如果扫描发现资产有问题,则资产发布失败并邮件通知发布者。 编辑资产详情 资产发布成功后,发布者可以进入详情页修改该资产的标题、封面图、描述等,让资产更吸引人。 修改封面图和二级标题
-
错误码 - AI开发平台ModelArts
请检查所使用的flavor和profile类型是否匹配。 400 ModelArts.6331 The evs volume size ranges from {} GB to {} GB. EVS磁盘大小超限 请检查EVS磁盘大小。 400 ModelArts.6332 Incorrect parameter
-
本地开发的MindSpore模型迁移至云上训练 - AI开发平台ModelArts
8-aarch64。 “资源选择”:公共资源池。 “类型”:ASCEND。 “规格”:选Ascend类型的,以界面实际可选值为准。 “存储配置”:EVS存储。 “SSH远程开发”:开启。 “密钥对”:选择已有密钥对,或单击密钥对右侧的“立即创建”创建密钥对。 通过ToolKit连接云端Notebook
-
发布免费模型 - AI开发平台ModelArts
Gallery数字内容发布协议》和《华为云AI Gallery服务协议》。 单击“发布”。 发布使用容器镜像导入的资产时,后台会进行资产安全扫描,如果扫描发现资产有问题,则资产发布失败并邮件通知发布者。 编辑资产详情 资产发布成功后,发布者可以进入详情页修改该资产的标题、封面图、描述等,让资产更吸引人。 修改封面图和二级标题
-
使用SDK调测多机分布式训练作业 - AI开发平台ModelArts
镜像来执行训练作业; 训练任务得到的输出上传到4指定的obs_path中,日志上传到log_url指定的位置中。 在这一步中需要注意的一个问题: 如果用户在自己的训练脚本中要创建新的目录或文件,请在以下几种目录中创建: (1)/home/ma-user/work; (2)/cache;
-
开发自定义脚本 - AI开发平台ModelArts
系统后台会自动下载输入参数路径中的训练数据至训练容器的本地目录。请保证您设置的桶路径有读取权限。在训练作业启动后,ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来存储临时文件。“/cache”目录大小请参考训练环境中不同规格资源“/cache”目录的大小。
-
使用ModelArts Standard自动学习实现垃圾分类 - AI开发平台ModelArts
在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击“操作”列的“更多>删除”,即可删除相应的存储对象。 常见问题 创建数据集时找不到创建的OBS桶,请查看OBS桶与ModelArts是否在同一个区域。 数据校验节点失败。 请查看您的数据集是否符合规范
-
使用ModelArts Standard自动学习实现垃圾分类 - AI开发平台ModelArts
在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击“操作”列的“更多>删除”,即可删除相应的存储对象。 常见问题 创建数据集时找不到创建的OBS桶,请查看OBS桶与ModelArts是否在同一个区域。 数据校验节点失败。 请查看您的数据集是否符合规范
-
配置访问授权(全局配置) - AI开发平台ModelArts
TE”后单击“确认”,可删除当前账号下的所有授权。删除生效后,此账号及其所有IAM子用户将无法继续使用ModelArts的相关功能。 常见问题 首次使用ModelArts如何配置授权? 直接选择“新增委托”中的“普通用户”权限即可,普通用户包括用户使用ModelArts完成AI开