检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 微调数据文件 在ECS服务器中安装obsutil工具,具体命令可参考obsutil工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作
# 微调数据文件 方式二:通过OBS Browser+将数据上传至OBS,最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。具体步骤如下: 在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-ll
# 微调数据文件 方式二:通过OBS Browser+将数据上传至OBS,最后在ECS中使用obsutil工具将OBS数据下载至SFS Turbo中。具体步骤如下: 在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-ll
# 微调数据文件 在ECS服务器中安装obsutil工具,具体命令可参考obsutil工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作
在使用MaaS服务时,需要先完成OBS桶、资源池等准备工作。 准备OBS桶 在ModelArts Studio大模型即服务平台创建自定义模型、调优或压缩模型时,需要在对象存储服务OBS中创建OBS桶,用于存放模型权重文件、训练数据集或者是存放永久保存的日志。 创建OBS桶和上传文件的操作指导请参见OBS控制台快速入门。
数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 数据集要求 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。 文本分类目前只支持中文。 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。
简介 场景介绍 本文旨在指导客户将已有的推理业务迁移到昇腾设备上运行(单机单卡、单机多卡),并获得更好的推理性能收益。 ModelArts针对上述使用场景,在给出系统化推理业务昇腾迁移方案的基础上,提供了即开即用的云上集成开发环境,包含迁移所需要的算力资源和工具链,以及具体的No
OBS管理 OBS管理概述 文件传输(推荐) 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹
no 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范: 预测分析项目的OBS数据路径需符合以下规则: 输入数据的OBS路径应指向数据文件,且文件不能直接放在OBS桶的根目录下,应该存放在OBS桶的文件夹内。如:“/obs-xxx/data/input
本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 本文档适用于OBS+SFS Turbo的数据存储方案,不适用于仅OBS存储方案。通过OBS对象存储服务(Object Storage Service)与SFS Turbo文件系统联动,可以实现灵活数据管理、高性能读取等。 约束限制
为了动态加载时保证数据完整性,需要在上传模型数据至OBS时,进行上传对象的一致性校验。obsutil、OBS Browser+以及OBS SDK都支持在上传对象时进行一致性校验,您可以根据自己的业务选择任意一种方式进行校验。详见校验上传对象的一致性。 以OBS Browser+为例,如图1。使用OBS Browse
现的各种场景。 物体检测数据集中,如果标注框坐标超过图片,将无法识别该图片为已标注图片。 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范: 文件名规范,不能有中文,不能有+、空格、制表符。 如不需要提前上传训练数据,请创建一个空
OBS管理概述 ModelArts SDK 1.1.3支持对OBS进行管理,主要涵盖上传下载文件和文件夹。具体包括如下操作: 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹 父主题: OBS管理
本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 适配的CANN版本是cann_8
String OBS对象路径。 请求示例 动态挂载OBS。将“OBS并行文件系统”挂载到实例中指定的文件目录“/data/wang/”。 { "category" : "OBS", "mount_path" : "/data/wang/", "uri" : "obs://a
昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。
groups=100(ma-group) 安装和配置OBS命令行工具 obsutil是用于访问、管理对象存储服务OBS的命令行工具,使用该工具可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。
创建模型不同方式的场景介绍 AI开发和调优往往需要大量的迭代和调试,数据集、训练代码或参数的变化都可能会影响模型的质量,如不能统一管理开发流程元数据,可能会出现无法重现最优模型的现象。 ModelArts的模型可导入所有训练生成的元模型、上传至对象存储服务(OBS)中的元模型和容器镜
的数据集。 如果选择对象存储服务(OBS)中已有的数据集发布,则参见表2配置数据集信息。 图2 发布数据集(OBS) 表2 参数说明(OBS) 参数 说明 资产标题 在AI Gallery显示的资产名称,建议按照您的目的设置。 来源 选择“对象存储服务(OBS)”。 单个数据集最
昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。