检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您也可以自行准备数据集,目前指令微调数据集支持alpaca格式和sharegpt格式的数据集;使用自定义数据集时,请更新代码目录下data/dataset_info.json文件;请务必在dataset_info.json文件中添加数据集描述。
创建目录“training_data”,将原始数据存放在/mnt/sfs_turbo/model目录下。 通过拖拽文件的方式,上传文件。
创建目录“training_data”,将原始数据存放在/mnt/sfs_turbo/model目录下。 通过拖拽文件的方式,上传文件。
创建目录“training_data”,将原始数据存放在/mnt/sfs_turbo/model目录下。 通过拖拽文件的方式,上传文件。
创建目录“training_data”,将原始数据存放在/mnt/sfs_turbo/model目录下。 通过拖拽文件的方式,上传文件。
快速配置ModelArts委托授权 场景描述 为了完成AI计算的各种操作,AI平台ModelArts在任务执行过程中需要访问用户的其他服务,典型的就是训练过程中,需要访问OBS读取用户的训练数据。在这个过程中,就出现了ModelArts“代表”用户去访问其他云服务的情形。
开启图模式后,服务第一次响应请求时会有一个较长时间的图编译过程,并且会在当前目录下生成.torchair_cache文件夹来保存图编译的缓存文件。
脚本,指定输入输出长度的均值和标准差,生成一定数量的正态分布的数据。
开启图模式后,服务第一次响应请求时会有一个较长时间的图编译过程,并且会在当前目录下生成.torchair_cache文件夹来保存图编译的缓存文件。
下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考上传数据和算法到OBS。 上传算法到SFS 下载Swin-Transformer代码。
上传文件至JupyterLab 上传本地文件至JupyterLab 克隆GitHub开源仓库文件到JupyterLab 上传OBS文件到JupyterLab 上传远端文件至JupyterLab 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
推理前的权重转换 - 模型训练完成后,可以将训练产生的权重文件用于推理。推理前参考本章节,将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理,可以忽略此章节。
得到OBS下数据集结构,此处以llama2-13B为例(权重文件可能变化,以下仅为举例): obs://<bucket_name>/model/llama-2-13b-hf/ ├── config.json ├── generation_config.json ├── gitattributes.txt
得到OBS下数据集结构,此处以llama2-13B为例(权重文件可能变化,以下仅为举例): obs://<bucket_name>/model/llama-2-13b-chat-hf/ ├── config.json ├── generation_config.json ├── gitattributes.txt
步骤1:准备训练数据 从AI Gallery下载训练数据,单击链接四类花卉图像分类小数据集,进入数据集详情页。 选择“数据集文件”页签后,单击“下载文件”跳转至下载详情页面。 在下载详情页面,填写参数。
Manifest管理 Manifest管理概述 解析Manifest文件 创建和保存Manifest文件 解析Pascal VOC文件 创建和保存Pascal VOC文件 父主题: 数据管理
仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页,选择“数据集文件”页签。单击操作列的“下载”,选择保存路径单击“确认”,即可下载文件到本地。 删除文件 在数据集详情页,选择“数据集文件”页签。
管理 登录凭证 集群登录方式,可以设置密码登录,也可以设置密钥对登录。 密码登录:默认用户名为root,用户自己设置密码。 密钥对(KeyPair)登录:可以选择已有的密钥对,或者单击右侧的“创建密钥对”,先去创建一个密钥对。 购买时长 - 选择购买时长。
Notebook中读取OBS数据方式请参见如何在ModelArts的Notebook中上传下载OBS文件?。 父主题: Standard Notebook
同一个自动学习项目可以训练多次,每次训练生成一个版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行模型部署的操作。 父主题: 使用自动学习实现文本分类