检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
合作伙伴 注册伙伴 发布解决方案 父主题: AI Gallery(旧版)
使用AI Gallery SDK构建自定义模型 AI Gallery的Transformers库支持部分开源的模型结构框架,并对昇腾系列显卡进行了训练/推理性能优化,可以做到开箱即用。如果你有自己从头进行预训练的模型,AI Gallery也支持使用SDK构建自定义模型接入AI Gallery
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。
Standard支持的AI框架 ModelArts Standard的开发环境Notebook、训练作业、模型推理(即模型管理和部署上线)支持的AI框架及其版本,请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore、PyTorch
发布需求 如果你已经注册成为了AI Gallery平台上的合作伙伴,你可以在AI Gallery上发布你的需求。 在“AI Gallery”页面中,单击右上角“我的Gallery > 我的主页”进入个人中心页面。 左侧菜单栏选择“我的需求”进入我的需求列表页,单击右上方的“发布”,
报名实践活动(实践) 在AI Gallery中,可以报名参加正在进行中的实践活动。 查找实践活动 进入AI Gallery首页,单击“实践”,在下拉框中单击“实践 >”,进入实践首页。 在实践页面,有“进行中”、“即将开始”和“已结束”三种状态的实践活动筛选方式。 图1 查找实践活动
因此,后续需要准备的原始数据集、原始Hugging Face权重文件以及训练代码都需要上传至SFS Turbo中。而基于SFS Turbo所执行的训练流程如下: 将SFS Turbo挂载至ECS服务器后,可直接访问SFS Turbo。
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B、ChatGLMv4-9B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。
发布和管理AI Gallery模型 构建模型 托管模型到AI Gallery 发布模型到AI Gallery 管理AI Gallery模型 父主题: AI Gallery(新版)
订阅免费算法 在AI Gallery中,您可以查找并订阅免费满足业务需要的算法,直接用于创建训练作业。 AI Gallery中分享的算法支持免费订阅,但在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS
免费资产和商用资产 AI Gallery既有免费分享的AI资产,也有商业售卖的AI资产。 免费资产无需支付费用,只需要支付在使用过程中消耗的硬件资源,硬件资源费用将根据实际使用情况由华为云ModelArts等管理控制台向使用方收取。 当前支持免费分享和订阅的资产类型有:Notebook
订阅免费模型 在AI Gallery中,您可以查找并订阅免费的模型,包括ModelArts模型和HiLens技能。订阅成功的模型可以直接用于ModelArts模型部署和HiLens技能安装。 AI Gallery中分享的模型支持免费订阅,但在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用
自定义模型规范 AI Gallery除了支持托管文本生成和文本问答任务类型的模型,还支持托管其他任务类型的模型,其他任务类型的模型被称为自定义模型。但是托管的自定义模型要满足规范才支持使用AI Gallery工具链服务(微调大师、在线推理服务)。 自定义模型的使用流程 托管模型到AI
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B、ChatGLMv4-9B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。
管理AI Gallery数据集 编辑数据集介绍 资产发布上架后,准确、完整的资产介绍有助于提升资产的排序位置和访问量,能更好的支撑用户使用该资产。 在数据集详情页,选择“数据集介绍”页签,单击右侧“编辑介绍”。 编辑数据集基础设置和数据集描述。 表1 数据集介绍的参数说明 参数名称
Gallery CLI配置工具指南 安装Gallery CLI配置工具 使用Gallery CLI配置工具下载文件 使用Gallery CLI配置工具上传文件 父主题: AI Gallery(新版)
查找和收藏资产 AI Gallery共享了算法、Notebook代码样例、数据集、镜像、模型、Workflow等多种AI资产,为了方便快速搜索相关资产,提供了多种快速搜索方式以及收藏功能,提升资产的查找效率。 搜索资产 在各类资产模块页面,通过如下几种搜索方式可以提高资产的查找效率
订阅Workflow 在AI Gallery中,您可以查找并订阅免费的Workflow。订阅成功的Workflow通过AI Gallery导入后可以直接在ModelArts控制台使用。 AI Gallery中分享的Workflow支持免费订阅,但在使用过程中如果消耗了硬件资源进行部署
发布和管理AI Gallery数据集 托管数据集到AI Gallery 发布数据集到AI Gallery 管理AI Gallery数据集 父主题: AI Gallery(新版)