检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义脚本代码示例 从OBS中导入模型文件创建模型时,模型文件包需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例(包含推理代码示例)。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费资源的计费规则。 适用场景 按需计费适用于资源需求波动的场景,例如面向ToC业务的AIGC推理场景,客户业务量会随时间有规律的波动,按需计费模式能大幅降低客户的业务成本。可在运
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite k8s Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9
查询所有Notebook实例列表 功能介绍 查询所有Notebook实例列表,用户可按需查询满足条件的Notebook实例列表。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
查询Notebook实例列表 功能介绍 查询Notebook实例列表,用户可按需查询满足条件的Notebook实例列表。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
API概览 ModelArts服务所提供的接口均为自研接口。 通过ModelArts服务自研接口,您可以使用ModelArts Workflow、开发环境、训练管理、AI应用管理及服务管理功能。 工作流管理 表1 Workflow API 说明 获取Workflow列表 获取Workflow列表信息。
创建Notebook实例 功能介绍 创建Notebook实例,可以根据您指定的实例规格,不同AI引擎镜像,存储等相关参数,为您创建一个Notebook,您可以通过网页和SSH客户端访问Notebook实例。 该接口为异步操作,创建Notebook实例的状态请通过查询Notebook实例详情接口获取。
ma-cli image镜像构建支持的命令 ma-cli image命令支持:查询用户已注册的镜像、查询/加载镜像构建模板、Dockerfile镜像构建、查询/清理镜像构建缓存、注册/取消注册镜像、调试镜像是否可以在Notebook中使用等。具体命令及功能可执行ma-cli image
预置框架启动文件的启动流程说明 ModelArts Standard训练服务预置了多种AI框架,并对不同的框架提供了针对性适配,用户在使用这些预置框架进行模型训练时,训练的启动命令也需要做相应适配。 本章节详细介绍基于不同的预置框架创建训练作业时,如何修改训练的启动文件。 Asc
通过APP认证的方式访问在线服务 部署在线服务支持开启APP认证,即ModelArts会为服务注册一个支持APP认证的接口,为此接口配置APP授权后,用户可以使用授权应用的AppKey+AppSecret或AppCode调用该接口。 针对在线服务的APP认证,具体操作流程如下。
Notebook专属预置镜像列表 ModelArts开发环境提供Docker容器镜像,可作为预构建容器运行。预置镜像里面包含PyTorch,Tensorflow,MindSpore等常用AI引擎框架,镜像命名以AI引擎为主,并且每个镜像里面都预置了很多常用包,用户可以直接使用而无需重新安装。