-
以PyTorch框架创建训练作业(新版训练) - AI开发平台ModelArts
当训练作业使用完成或不再需要时,调用删除训练作业接口删除训练作业。 前提条件 已获取IAM的EndPoint和ModelArts的EndPoint。 确认服务的部署区域,获取项目ID和名称、获取帐号名和帐号ID和获取用户名和用户ID。 已准备好PyTorch框架的训练代码,例如将启动文件“test-pytorch
-
提交训练作业 - AI开发平台ModelArts
ition_Application\codes”目录中获取到训练代码文件“train_mnist.py”。 数据集案例请参考:从MNIST官网下载“Mnist-Data-Set”数据集至本地,然后解压zip包,将“Mnist-Data-Set”文件夹下的所有文件上传至“test-
-
本地IDE操作流程 - AI开发平台ModelArts
创建训练作业,上云训练,调用SDK创建训练作业的操作请参见调用SDK创建训练作业。 可以基于PyCharm ToolKit直接提交训练作业,具体参考使用PyCharm ToolKit提交训练作业。 也可以通过调用ModelArts提供的SDK,创建训练作业,上云训练,调用SDK创
-
创建资源池 - AI开发平台ModelArts
资源池的驱动信息。 controlMode Integer 资源池的受限状态。可选值如下: 0:代表不受限 1:转包周期受限 2:规格变更受限 4:服务受限 8:冻结 16:公安冻结(不可退订) 另外状态是可以叠加的,比如9代表转包周期受限+冻结状态。 表16 resources 参数 参数类型
-
获取Execution列表 - AI开发平台ModelArts
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions Array of Constraint objects 数据约束条件。 value Map<String,Object>
-
PyCharm手动连接Notebook - AI开发平台ModelArts
可以看到本地的工程文件已经自动往云上环境上传了。后续本地的文件每修改一次,都会自动的同步到云上的环境中。 右下角可以看到当前的Interpreter为Remote Interpreter。 图4 配置云上Python Interpreter Step4 云上环境依赖库安装 在进入开发
-
日志提示"write line error" - AI开发平台ModelArts
"根目录空间。 本地数据、文件保存将"/cache"目录3.5T空间用完了。 云上训练磁盘空间一般指如下两个目录的磁盘空间: “/”根目录,是docker中配置项“base size”,默认是10G,云上统一改为50G。 “/cache”目录满了,一般是3.5T存储空间满了,具体
-
VS Code连接Notebook方式介绍 - AI开发平台ModelArts
Code上使用ModelArts VS Code Toolkit插件提供的登录和连接按钮,连接云上实例。 VS Code手动连接Notebook 该方式是指用户使用VS Code Remote SSH插件手工配置连接信息,连接云上实例。 父主题: 本地IDE(VS Code)
-
专属资源池VPC打通 - AI开发平台ModelArts
需要打通的对端网络不能和当前网段重叠。 图2 打通VPC参数选择 如果没有VPC可选,可以单击右侧的“创建虚拟私有云”,跳转到网络控制台,申请创建虚拟私有云。 如果没有子网可选,可以单击右侧的“创建子网”,跳转到网络控制台,创建可用的子网。 支持1个VPC下多个子网的打通,单击“+”即可添加子网(上限10个)。
-
使用场景 - AI开发平台ModelArts
使用场景 ModelArts提供灵活开放的开发环境,您可以根据实际情况选择。 ModelArts提供了云化版本的Notebook,无需关注安装配置,即开即用,具体参见JupyterLab简介及常用操作。 ModelArts也提供了本地IDE的方式开发模型,通过开启SSH连接,用户
-
JupyterLab简介及常用操作 - AI开发平台ModelArts
进入JupyterLab页面后,自动打开Launcher页面,如下图所示。您可以使用开源支持的所有功能,详细操作指导可参见JupyterLab官网文档。 图2 JupyterLab主页 不同AI引擎的Notebook,打开后Launcher页面呈现的Notebook和Console内
-
训练作业失败,如何使用开发环境调试训练代码? - AI开发平台ModelArts
错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VsCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 业务代码问题
-
如何保证训练和调试时文件路径保持一致 - AI开发平台ModelArts
如何保证训练和调试时文件路径保持一致 云上挂载路径 Notebook中挂载SFS后,SFS默认在“/home/ma-user/work”路径下。在创建训练作业时,设置SFS Turbo的“云上挂载路径”为“/home/ma-user/work”,使得训练环境下SFS也在“/home/ma-user/work”路径下。
-
PyCharm ToolKit连接Notebook - AI开发平台ModelArts
Step5 使用插件连接云上Notebook 与Notebook断开连接的状态下,单击Notebook名称,根据提示启动本地IDE与Notebook的连接(默认启动时间4小时)。 图5 启动连接Notebook 连接状态下,单击Notebook名称,根据提示断开本地IDE与云上Notebook的连接。
-
分支控制 - AI开发平台ModelArts
景类似,但功能更加强大。当前该能力适用于数据集创建节点、数据集标注节点、数据集导入节点、数据集版本发布节点、作业类型节点、模型注册节点以及服务部署节点。 使用案例 控制单节点的执行 通过参数配置实现 from modelarts import workflow as wf condition_equal
-
查询训练作业详情 - AI开发平台ModelArts
nfs nfs object nfs方式的挂载卷。 表52 nfs 参数 参数类型 描述 nfs_server_path String nfs服务端路径。 local_path String 挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。
-
日志提示“ValueError: Invalid endpoint: obs.xxxx.com” - AI开发平台ModelArts
错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: OBS操作相关故障
-
终止训练作业 - AI开发平台ModelArts
nfs nfs object nfs方式的挂载卷。 表52 nfs 参数 参数类型 描述 nfs_server_path String nfs服务端路径。 local_path String 挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。
-
创建训练任务 - AI开发平台ModelArts
规格:选择8卡GPU规格。 计算节点:1。 SFS Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保持相同的启动命令,因此云上挂载路径需要填写为“/home/ma-user/work”。 单击“提交”,
-
创建训练任务 - AI开发平台ModelArts
计算节点个数:选择需要的节点个数。 SFS Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保持相同的启动命令,云上挂载路径需要填写为“/home/ma-user/work”。 单击“提交”,在