检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Standard支持的AI框架 ModelArts Standard的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore
自定义镜像规范 AI Gallery支持托管自定义镜像,但是托管的自定义镜像要满足规范才支持使用AI Gallery工具链服务(微调大师、在线推理服务)。 自定义镜像的使用流程 托管自定义镜像,操作步骤请参考托管模型到AI Gallery。 如果自定义镜像要支持训练,则需要满足自定义镜像规范(训练)。
sh # 推理构建脚本 ├── vllm_install.patch # 社区昇腾适配的补丁包 ├── Dockerfile # 推理构建镜像dockerfile
sh # 推理构建脚本 ├── vllm_install.patch # 社区昇腾适配的补丁包 ├── Dockerfile # 推理构建镜像dockerfile
6)和GPU打分结果(mmlu取值47)进行对比,误差在1以内(计算公式:(47-46.6) < 1)认为NPU精度和GPU对齐。NPU和GPU的评分结果和社区的评分不能差太远(小于10)认为分数有效。 使用Lm-eval精度测评工具 使用lm-eval工具暂不支持qwen-7b、qwen-14b
使用Notebook代码样例 在AI Gallery中,您可以查找并直接打开使用Notebook实例。 前提条件 注册并登录华为云,详细操作请参见准备工作。 打开Notebook实例 登录“AI Gallery”。 选择“资产集市 > Notebook”,进入Notebook页面
通过JupyterLab在线使用Notebook实例进行AI开发 使用JupyterLab在线开发和调试代码 JupyterLab常用功能介绍 在JupyterLab使用Git克隆代码仓 在JupyterLab中创建定时任务 上传文件至JupyterLab 下载JupyterLab文件到本地
安装Gallery CLI配置工具 场景描述 Gallery CLI配置工具支持将AI Gallery仓库的资产下载到云服务端,便于在云服务本地进行训练、部署推理。 Gallery CLI配置工具支持将单个超过5GB的文件从本地上传至AI Gallery仓库中。 约束限制 Gallery
使用Notebook进行AI开发调试 Notebook使用场景 创建Notebook实例 通过JupyterLab在线使用Notebook实例进行AI开发 通过PyCharm远程使用Notebook实例 通过VS Code远程使用Notebook实例 通过SSH工具远程使用Notebook
使用Gallery CLI配置工具上传文件 在服务器(ModelArts Lite云服务器或者是本地Windows/Linux等服务器)上登录Gallery CLI配置工具后,通过命令“gallery-cli upload”可以往AI Gallery仓库上传资产。 命令说明 登录Gallery
使用Workflow实现低代码AI开发 什么是Workflow 运行第一条Workflow 管理Workflow 开发第一条Workflow 开发Workflow命令参考
ModelArts中常用概念 自动学习 自动学习功能可以根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型,不需要代码编写和模型开发经验。只需三步,标注数据、自动训练、部署模型,即可完成模型构建。 端-边-云 端-边-云分别指端侧设备、智能边缘设备、公有云。 推理
查询模型runtime 功能介绍 查询模型AI引擎以及runtime。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/mo
从AI Gallery订阅模型 在AI Gallery中,支持订阅官方发布或者他人分享的模型,订阅后的模型,可推送至ModelArts模型管理中,进行统一管理。 订阅模型与云服务订阅模型的区别: 在管理控制台,模型管理所在位置不同。订阅模型统一管理在“模型管理>订阅模型”页面中,
在AI Gallery订阅的数据集可以在SDK中使用吗? 支持。 将AI Gallery数据集下载至OBS,然后在SDK直接使用此OBS目录下的数据即可。详细操作步骤如下所示: 将AI Gallery数据集下载至OBS。详细指导请参见下载数据集。 数据集可以直接下载至OBS,也可
AI Gallery下载数据到OBS中使用的带宽是用户自己的还是华为云的? AI Gallery下载数据到OBS中使用的带宽是华为云的。 父主题: AI Gallery
获取训练作业支持的AI预置框架 功能介绍 获取训练作业支持的AI预置框架。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
日志提示“Please set the train_url to an empty obs directory” 问题现象 日志提示“Please set the train_url to an empty obs directory”。 原因分析 对于不支持断点训练的模型,若选
日志提示Compile graph failed 问题现象 日志提示:Compile graph failed。 图1 报错提示 原因分析 模型转换时未指定Ascend后端。 处理方法 需要在模型转换阶段指定“--device=Ascend”。 父主题: 常见问题
管理Notebook实例 查找Notebook实例 更新Notebook实例 启动/停止/删除实例 保存Notebook实例 动态扩充云硬盘EVS容量 动态挂载OBS并行文件系统 查看Notebook实例事件 Notebook Cache盘告警上报 父主题: 使用Notebook进行AI开发调试