检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JupyterLab默认工作路径是什么? 带OBS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook时指定的OBS路径。 在文件列表的所有文件读写操作都是基于所选择的OBS路径下的内容操作的,跟当前实例空间没有关系。如果用户需要将内容同步到实
对于包年/包月专属资源池,用户已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月专属资源池仍可正常使用。然而,对于涉及费用的操作,如将数据存储至OBS或EVS、续费订单等,用户将无法正常进行。 按需计费 当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,按需资源不会立即
原因分析 可能由于用户本地网络原因,无法正常访问OBS导致图片无法正常加载。 可能由于没有OBS桶的访问权限导致,请检查数据集输入位置所在的OBS桶,是否具有访问权限。 可能是OBS桶加密或者OBS文件加密导致。 可能跟OBS桶的存储类别有关,并行文件系统不支持图像处理,所以无法展示缩略图。
节点运行规格,方便用户灵活调整规格资源;可以初期存储使用量较小时选择小存储,可以在创建完成后根据需要扩充EVS容量;使用动态挂载OBS将OBS对象存储模拟成本地文件系统;还可以在Notebook异常时查看实例的事件定位等,具体参见管理Notebook实例。 ModelArts C
rts数据集或者OBS目录中的文件创建训练作业。如果选择通过OBS目录的方式创建训练任务,用户需要将数据集中准备好的数据导出到OBS中。 导出数据到OBS 在数据集详情页面中,选中需要导出的数据或筛选出需要导出的数据,然后单击右上角“导出”。 导出方式选择“OBS”,填写相关信息,然后单击“确定”,开始执行导出操作。
JupyterLab目录的文件、Terminal的文件和OBS的文件之间的关系 JupyterLab目录的文件与Terminal中work目录下的文件相同。即用户在Notebook中新建的,或者是从OBS目录中同步的文件。 挂载OBS存储的Notebook,JupyterLab目录的文件可以与OBS的文件进行同步,使
图1 获取镜像列表 对象存储服务 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 在使用ModelArts时存在与OBS的数据交互,您需要使用的数据可以存储至OBS。 弹性云服务器
面。根据数据集下载至OBS还是ModelArts数据集列表,填写不同配置信息: ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户选择将数据集下载至OBS使用。 将数据集下载至OBS “下载方式”选择“对象存储服务(OBS)”。 “目标区域”选
当数据集存在较多数据文件(即海量小文件),数据存储在OBS中,训练过程需反复从OBS中读取文件,导致训练过程一直在等待文件读取,效率低。 解决方法 建议将海量小文件,在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。 训练时,可直接从OBS下载此压缩文件至/cache目录。此
e信息为模型服务返回的response信息,如果不符合预期,可以判断为模型服务返回的结果不符合预期。 建议与总结 鉴于模型服务有从对象存储服务(OBS)中导入,从容器镜像中导入,从AI Gallery中获取等多种途径,对于上述不同模型服务的来源所产生的常见问题及处理方法建议如下:
创建和保存Manifest文件 需要先创建包含Manifest信息的对象,然后保存。Manifest信息请见表2。路径支持本地和OBS,如果是OBS,需要Session信息。 manifest_info.save(path, session=None, save_mode="w")
创建和保存Pascal VOC文件 需要先创建包含Pascal VOC信息的对象,然后保存。Pascal VOC信息请见表2。路径支持本地和OBS,如果是OBS,需要Session信息。 pascal_voc.save_xml(xml_file_path, save_mode='w', session=None)
件可以使用OBS中转,系统先将文件上传至OBS(对象桶或并行文件系统),然后从OBS下载到Notebook。下载完成后,ModelArts会将文件自动从OBS中删除。 例如,对于下面这种情况,可以通过“OBS中转”上传。 图5 通过OBS中转上传大文件 如果使用OBS中转需要提供
停止因运行自动学习作业而创建的训练作业。在在线服务列表中,停止因运行自动学习作业而创建的服务。操作完成后,ModelArts服务即停止计费。 登录OBS控制台,进入自己创建的OBS桶中,删除存储在OBS中的数据。操作完成后,OBS服务即停止计费。 对于使用专属资源池创建的自动学习作业:
ModelArts数据集保存到容器的哪里? ModelArts的数据集和数据存储位置对应的数据都保存在OBS中。 父主题: 一般性问题
不大于500MB数据量,直接复制至本地IDE中即可。 大于500MB数据量,请先上传到OBS中,再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS,具体操作请参见上传文件至OBS桶。 将OBS中的数据传至Notebook中,通过在本地IDE的Termi
OBS管理概述 ModelArts SDK 1.1.3支持对OBS进行管理,主要涵盖上传下载文件和文件夹。具体包括如下操作: 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹 父主题: OBS管理
购买的SWR可以用于上传自定义镜像。 使用容器引擎客户端上传镜像 对象存储服务OBS 对象存储服务提供按需计费和包年包月两种计费模式,用户可以根据实际需求购买OBS服务。 OBS服务支持以下两种存储方式,单机单卡场景使用文件系统,多机多卡场景使用普通OBS桶。 创建普通OBS桶 创建并行文件系统 虚拟私有云VPC
载。 节点存储。多个容器可能会共享这一个存储,会存在写冲突的问题。 Pod删除后,存储不会清理。 使用主机路径 OBS 适用于训练数据集的存储。 对象存储。常用OBS SDK进行样本数据下载。存储量大,但是离节点比较远,直接训练速度会比较慢,通常会先将数据拉取到本地cache,然后再进行训练任务。
CommonOperations权限只能二选一,不能同时选。 OBS对象存储服务 授予子账号使用OBS服务的权限。ModelArts的数据管理、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS OperateAccess 必选 SWR容器镜像仓库 授予子账