检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志提示“errorMessage:The specified key does not exist” 问题现象 在用moxing访问OBS路径时,出现如下错误: ERROR:root: stat:404 errorCode:NoSuchKey errorMessage:The specified
ModelArts训练中不同规格资源“/cache”目录的大小是多少? 在创建训练作业时可以根据训练作业的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源,不同资源规格有不同的容量。 k8s磁
在ModelArts的Notebook中实例重新启动后要怎么连接? 可以在本地的ssh config文件中对这个Notebook配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”,如下参考所示: Host roma-local-cpu
使用AWQ或SQ压缩后的模型新增版本时,权重校验失败 问题现象 使用AWQ或SQ压缩后的模型新增版本时,开启权重校验功能,权重校验失败。 原因分析 平台暂不支持压缩后的模型进行权重校验。 问题影响 压缩后的模型无法使用权重检验。 处理方法 模型压缩后,不建议进行权重校验。 父主题:
管理标注作业 查看标注作业 在ModelArts数据标注页面可查看用户自己创建的标注作业。 登录ModelArts管理控制台,在左侧菜单栏选择“数据准备>数据标注”,进入数据标注页面。 在“我创建的”页签,可查看自己创建的标注作业。用户可查看自己创建的标注作业的相关信息。 图1 我创建的
2:团队管理员 sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) email:按邮件排序 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 total_number Integer
导入任务的当前状态。可选值如下: QUEUING:排队中 STARTING:开始执行 RUNNING:运行中 COMPLETED:已完成 FAILED:已失败 NOT_EXIST:不存在 task_id String 任务ID。 total_file_count Long 总文件数。
String 成员任务关联的数据集ID。 dataset_type Integer 团队标注成员任务标注类型。 email String 团队标注成员邮箱。 email_status Integer 团队标注成员任务邮件通知状态。可选值如下: 0:表示未发送过 1:表示邮箱格式错误
duration Long 可视化作业的运行时长,单位为毫秒。 create_time Long 可视化作业的创建时间,时间戳格式。 train_url String 可视化作业输出文件OBS路径。 status Int 可视化作业的运行状态,详细作业状态列表请参见作业状态参考。
更新可视化作业描述 功能介绍 更新可视化作业的描述。 URI PUT /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否为必选 参数类型 说明 project_id 是 String 用户项目
查询数据集的标注任务列表 查询当前数据集的所有标注任务列表。 dataset.get_label_tasks(is_workforce_task=False, **kwargs) 示例代码 示例一:查询数据集下所有的标注任务,根据标注任务创建时间降序排序。 from modelarts
MoXing如何访问文件夹并使用get_size读取文件夹大小? 问题现象 使用MoXing无法访问文件夹。 使用MoXing的“get_size”读取文件夹大小,显示为0。 原因分析 使用MoXing访问文件夹,需添加参数:“recursive=True”,默认为False。 处理方法
日志提示“cuda runtime error (10) : invalid device ordinal at xxx” 问题现象 训练作业失败,日志报出如下错误: RuntimeError: cuda runtime error (10) : invalid device ordinal
directory or bucket not found.')”。 原因:Moxing在进行文件复制时,未找到train_data_obs目录。 处理建议:修改train_data_obs目录为正确地址,重新启动训练作业。 另外在Moxing下载OBS对象过程中,不要删除相应OBS
镜像过大,卸载原来的包重新打包镜像,最终镜像会变小吗? 不会,反而会变大。因为Docker镜像的层原因,当前的镜像是基于原来的镜像制作,而原来的镜像层数是无法改变的,层不变的情况下,大小是不变的,卸载包或者删除数据集,会新增镜像层,镜像反而会变大,这和传统概念的存储不一样。 父主题:
在ModelArts自动学习中,如何进行增量训练? 在自动学习项目中,每训练一次,将自动产生一个训练版本。当前一次的训练结果不满意时(如对训练精度不满意),您可以适当增加高质量的数据,或者增减标签,然后再次进行训练。 增量训练目前仅支持“图像分类”、“物体检测”、“声音分类”类型的自动学习项目。
在ModelArts的Notebook中使用MoXing时,如何进行增量训练? 在使用MoXing构建模型时,如果您对前一次训练结果不满意,可以在更改部分数据和标注信息后,进行增量训练。 “mox.run”添加增量训练参数 在完成标注数据或数据集的修改后,您可以在“mox.run
在ModelArts上如何提升训练效率并减少与OBS的交互? 场景描述 在使用ModelArts进行自定义深度学习训练时,训练数据通常存储在对象存储服务(OBS)中,且训练数据较大时(如200GB以上),每次都需要使用GPU资源池进行训练,且训练效率低。 希望提升训练效率,同时减
有两种情况。 第一种,在ModelArts控制台的“总览”界面打开CodeLab,使用的是CPU或GPU资源,无法使用昇腾卡训练。 第二种,如果是AI Gallery社区的Notebook案例,使用的资源是ASCEND的,“Run in ModelArts”跳转到CodeLab,就可以使用昇腾卡进行训练。
Cluster资源池如何进行NCCl Test? ModelArts提供AI诊断功能,用户可以通过NCCl Test,测试节点GPU状态,并且测试多个节点间的通信速度。 操作步骤 单击资源池名称,进入资源池详情。 单击左侧“AI组件管理 > AI诊断”。 单击“诊断”,选择“日志上传路径”和NCCL