检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，
执行训练任务（历史版本） 权重文件支持以下组合方式，用户根据自己实际要求选择： 训练stage 不加载权重 增量训练：加载权重，不加载优化器 断点续训：加载权重+优化器 pt sft CKPT_LOAD_TYPE=0 CKPT_LOAD_TYPE=1 USER_CONVERTED_CKPT_PATH
发布本地AI应用到AI Gallery 场景描述 AI Gallery自定义AI应用能力为您提供了一个自由灵活的AI应用创建方式，您可以基于AI Gallery上提供的基础能力，发挥您的创造力，通过自定义代码的形式，自由地构建出您需要的AI应用形态。 准备AI应用运行文件“app.py
VS Code ToolKit连接Notebook 本节介绍如何在本地使用ModelArts提供的VS Code插件工具VS Code ToolKit，协助用户完成SSH远程连接Notebook。 VS Code ToolKit功能介绍 前提条件 已下载并安装VS Code。详细操作请参考安装
附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大
Ascend-vLLM推理常见问题 问题1：在推理预测过程中遇到NPU out of memory 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案的部署
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的 llm_train/AscendSpeed
查询团队标注任务详情 功能介绍 查询团队标注任务详情。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets/{dataset_id
语言模型推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
昇腾能力应用地图 ModelArts支持如下开源模型昇腾NPU进行训练和推理。 DeepSeek系列模型 表1 DeepSeek系列模型 支持模型 应用场景 软件技术栈 指导文档 DeepSeek R1 推理 MindIE DeepSeek模型基于ModelArts Lite Server
执行训练任务（推荐） 新的训练方式将统一管理训练日志、训练结果和训练配置，使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 权重文件支持以下组合方式，用户根据自己实际要求选择： 训练stage 不加载权重 增量训练：加载权重，不加载优化器（默认开启
MaaS使用场景和使用流程 ModelArts Studio大模型即服务平台（后续简称为MaaS服务），提供了简单易用的模型开发工具链，支持大模型定制开发，让模型应用与业务系统无缝衔接，降低企业AI落地的成本与难度。 当您第一次使用MaaS服务时，可以参考快速入门使用ModelArts
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的 llm_train/AscendSpeed
eagle投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools
附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大
附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Cluster上的训练方案。训练框架使用的是ModelLink。 本方案目前仅适用于企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持
删除网络资源 功能介绍 删除指定网络资源。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/networks/{network_name
eagle投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
