检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布和管理AI Gallery中的AI应用 发布本地AI应用到AI Gallery 将AI Gallery中的模型部署为AI应用 管理AI Gallery中的AI应用 父主题： AI Gallery（新版）
针对不同的异常情况说明及解决方案参见表1。
构建模型 自定义模型规范 自定义镜像规范 使用AI Gallery SDK构建自定义模型 父主题： 发布和管理AI Gallery模型
父主题： 发布和管理AI Gallery模型
父主题： 发布和管理AI Gallery镜像
准备代码 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
父主题： 发布和管理AI Gallery数据集
上架自定义镜像，操作步骤请参考发布模型到AI Gallery。 在AI Gallery进行自定义镜像训练或推理。使用AI Gallery微调大师训练模型或使用AI Gallery在线推理服务部署模型。
案例中沉淀了基于业务场景的AI知识、经验和部分通用的业务逻辑，能够为某些具体的业务场景提供AI环节的解决方案。 AI案例的发布功能即将上线，当前只支持订阅使用。
解决方案 方法1（推荐），建议将此数据集重新发布版本，然后再使用新版本的Manifest文件导入。 方法2，修改您本地的Manifest文件，查找OBS目录下的数据变更，根据变更同步修改Manifest。
获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
父主题： 发布和管理AI Gallery模型
如果没有填写“中文名称”，则资产发布后，在镜像页签上会显示该“英文名称”。 中文名称 镜像的中文名称。 如果填写了“中文名称”，则资产发布后，在镜像页签上会显示该“中文名称”。 描述 填写资产简介，镜像发布后将作为副标题显示在镜像页签上，方便用户快速了解资产。
获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。
父主题： 发布和管理AI Gallery数据集
发布模型到AI Gallery。 使用AI Gallery微调大师训练模型或使用AI Gallery在线推理服务部署模型。 如果进行模型微调，则“训练任务类型”选择“自定义”。
获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表2所示。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。
AI Gallery使用流程 AI Gallery提供了模型、数据集、AI应用等AI数字资产的共享，为高校科研机构、AI应用开发商、解决方案集成商、企业级/个人开发者等群体，提供安全、开放的共享及交易环节，加速AI资产的开发与落地，保障AI开发生态链上各参与方高效地实现各自的商业价值
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
