检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PyTorch、TensorFlow和MindSpore等引擎的AI模型。 支持通过JupyterLab工具在线打开Notebook,具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。 支持本地IDE的方式开发模型,通过开启SSH连接,用户本地IDE可以
SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally Unique Identifier,简称UUID)。预置镜像的ID参考查询支持的镜像列表获取。 name String
infer_type 是 String 推理方式,取值为real-time/batch/edge。 real-time代表在线服务,将模型部署为一个Web Service,并且提供在线的测试UI与监控能力,服务一直保持运行。 batch为批量服务,批量服务可对批量数据进行推理,完成数据处理后自动停止。
--url:API接口公网地址与"/v1/completions"拼接而成,部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。 --tokenizer:tokenizer路径,HuggingF
步骤二:权重格式离线转换(可选) 在GPU上AutoAWQ量化完成后,使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包,在线转换会增加启动时间,可以提前对权重进行转换以减少启动时间,转换步骤如下: 进入llm_tools/AutoAWQ代码目录下执行以下脚本:
增加3条。 “部署类型” 选择此模型支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择在线服务,那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 指定模型的启动命令,您可以自定义该命令。 说明: 包含字符$,|,>,<,`,
“代码目录” 训练作业代码目录所在的OBS路径。 您可以单击代码目录后的“编辑代码”,在“OBS在线编辑”对话框中实时编辑训练脚本代码。当训练作业状态为“等待中”、“创建中”和“运行中”时,不支持“OBS在线编辑”功能。 说明: 当您使用订阅算法创建训练作业时,不支持该参数。 “启动文件” 训练作业启动文件位置。
用于后续的训练或推理任务 plot_loss true 用于指定是否绘制损失曲线。如果设置为"true",则在训练结束后,将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true",则在每次训练开始时,都会清空输出目录,以便保存新的训练结果。
l_limit的值一致。 plot_loss true 用于指定是否绘制损失曲线。如果设置为"true",则在训练结束后,将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true",则在每次训练开始时,都会清空输出目录,以便保存新的训练结果。
om格式的模型转换能力,在ModelArts中逐步增加.mindir格式的支持能力。 下线模型转换后是否有替代功能? 您可以通过链接下载ATC模型转换工具,按照指导,在线下转换成.om格式模型。 ModelArts中是否还会增加模型转换的能力? ModelArts开发环境中在贵阳一Region,支持将ONNX或PyTorch模型转换到
迁移环境准备 迁移环境准备有以下两种方式: 表1 方式说明 序号 名称 说明 方式一 ModelArts Notebook 该环境为在线调试环境,主要面向演示、体验和快速原型调试场景。 优点:可快速、低成本地搭建环境,使用标准化容器镜像,官方Notebook示例可直接运行。 缺点
用于后续的训练或推理任务 plot_loss true 用于指定是否绘制损失曲线。如果设置为"true",则在训练结束后,将损失曲线保存为图片 overwrite_output_dir true 是否覆盖输出目录。如果设置为"true",则在每次训练开始时,都会清空输出目录,以便保存新的训练结果。
标签列是预测模型的输出。模型训练步骤将使用全部信息训练预测模型,该模型以其他列的数据为输入,以标签列的预测值为输出。模型部署步骤将使用预测模型发布在线预测服务。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格”
1:${port}/v1/completions";若服务部署在生产环境中,该地址由API接口公网地址与"/v1/completions"拼接而成,部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 few_shot:开启少量样本测试后添加示例样本的个数。默认为3,取值范围为0~5整数。
配置信息。 “部署类型” 选择此模型支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择在线服务,那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 “启动命令” 选填参数,指定模型的启动命令,您可以自定义该命令。 如果使用预
在“模型部署”页面的“预置服务”页签,单击DeepSeek-R1服务右侧的“领取”。 当“领取”置灰时,表示该服务的免费额度已领取。 在DeepSeek-R1服务右侧,单击“在线体验”,跳转到“模型体验”页面,即可开始问答体验。更多信息,请参见免费体验MaaS预置服务。 图1 体验DeepSeek-R1模型 (可选
data_sources 是 Array of DataSource objects 数据集输入位置,用于将此目录及子目录下的源数据(如图片/文件/音频等)同步到数据集。对于表格数据集,该参数为导入目录。表格数据集的工作目录不支持为KMS加密桶下的OBS路径。目前仅支持传入单个DataSource。
统一管理AI开发全流程,提升开发效率,记录模型构建实验全流程。 多场景部署,灵活满足业务需求 支持云端/边端部署等多种生产环境。 支持在线推理、批量推理、边缘推理多形态部署。 AI工程化能力,支持AI全流程生命周期管理 支持MLOps能力,提供数据诊断、模型监测等分析能力,训练智能日志分析与诊断。
自动迁移工具使用指导 训练业务代码适配昇腾PyTorch代码适配 PyTorch Analyse 迁移分析工具,可以使用工具扫描用户的训练脚本,识别出源码中不支持的torch API和cuda API信息。 包含在cann toolkit中。 分析工具使用指导 精度调优 msprobe
动退出。该现象表明资源池规格任务紧张,训练作业无法正常启动,推荐您购买专属资源池补充计算节点。 如果您使用专属资源池创建训练作业,容错检查识别的故障节点会被剔除。系统自动补充健康的计算节点至专属资源池。(该功能即将上线) 容错检查详细介绍请参考: 开启容错检查 检测项目与执行条件