检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vllm提供prefix caching关键特性能力，能够显著降低长system prompt和多轮对话场景首token时延，提升用户体验。其优势主要包括： 更短的prefill时间：由于跨请求的重复token序列对应的KV Cache可以复用，那么就可以减少一部分前缀token的KV
需和服务启动时配置的--num-speculative-tokens一致。默认为-1。当该值大于等于0时，会基于该值计算投机推理的接受率指标。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。 图2 静态benchmark测试结果（示意图）
source_job_id 否 String 来源训练作业的ID，模型是从训练作业产生的可填写，用于溯源；如模型是从第三方元模型导入，则为空，默认值为空。 source_job_version 否 String 来源训练作业的版本，模型是从训练作业产生的可填写，用于溯源；如模型是从第三方元模型导入，则为空，默认值为空。
度，同时其具备比较高的剪枝速度。使用FASP对大模型进行稀疏化剪枝，可以在几乎不影响推理精度情况下，可以有效提升推理性能（吞吐等）。 本文主要应用FASP对LLM进行剪枝压缩。 约束限制 FASP剪枝当前仅支持Llama系列、Llama2系列、Llama3系列、Qwen2系列的NLP模型。
yaml # 性能基线配置 |──llama_factory_accuracy_baseline.yaml # 精度基线配置 该目录下主要放置性能、精度任务的yaml配置文件，包含性能基线、精度基线、训练最佳实践参数等，以上配置文件仅供参考。 代码上传至OBS 本地完成代码包AscendCloud-LLM-xxx
度，同时其具备比较高的剪枝速度。使用FASP对大模型进行稀疏化剪枝，可以在几乎不影响推理精度情况下，可以有效提升推理性能（吞吐等）。 本文主要应用FASP对LLM进行剪枝压缩。 约束限制 FASP剪枝当前仅支持Llama系列、Llama2系列、Llama3系列、Qwen2系列的NLP模型。
击镜像的名称，进入镜像详情页，可以查看镜像版本/ID，状态，资源类型，镜像大小，SWR地址等。 步骤5：使用SDK提交训练作业 本地调测完成后可以提交训练作业。因为数据在Notebook中，设置InputData中“is_local_source”的参数为“True”，会自动将本地数据同步上传到OBS中。
yaml # 性能基线配置 |──llama_factory_accuracy_baseline.yaml # 精度基线配置 该目录下主要放置性能、精度任务的yaml配置文件，包含性能基线、精度基线、训练最佳实践参数等，以上配置文件仅供参考。 代码上传至OBS 本地完成代码包AscendCloud-LLM-xxx
5327423 原因分析 当使用MoXing复制数据不成功，可能原因如下： 源文件不存在。 OBS路径不正确或者是两个OBS路径不在同一个区域。 训练作业空间不足。 处理方法 按照报错提示，需要排查以下几个问题： 检查moxing.file.copy_parallel()的第一个参数中是否有文件，否则会出现报错：No
联，然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动，可以将最新的训练数据导入到SFS Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。 创建SFS Turbo文件系统，详细操作指导请参考创建SFS
联，然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动，可以将最新的训练数据导入到SFS Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。 创建SFS Turbo文件系统，详细操作指导请参考创建SFS
5模型基础上，使用新的数据集进行微调（fine-tuning）以优化模型性能的过程。 本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，对Stable Diffusion模型下不同数据集进行高性能训练调优，同时启用多卡作业方式提升训练速度，完成SD1.5 Finetune训练。
动版本不适配时，可以参考升级Standard专属资源池驱动升级驱动。 公共资源池：公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。MaaS服务可以使用ModelArts Standard形态下提供的公共资源池完成模型训推，按照使用量计费，方便快捷。选
为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。 华为云租户的安全责任在于对使用的IaaS、PaaS和Sa
在“运行时长控制”选择是否指定运行时长。 不限时长：不限制作业的运行时长，AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长：设置作业运行几小时后停止，当AI Gallery工具链服务运行时长达到指定时长时，系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明：
save-frequency：指定运行多少个epoch就保存模型参数，可以调大。 report-to tensorboard：指定输出loss指标到tensorboard，一般需要做精度评估才需要带上。 train-num-samples：指定每个epoch需要训练的样本个数，不超过总样本个数。
event_type String 事件类型，取值为： normal：正常事件 abnormal：异常事件 event_info String 事件信息，当前主要描述部署过程5个阶段的信息，后续可根据情况继续补充。这5个阶段分别是构建镜像、准备环境、调度资源、拉取镜像、启动模型。 occur_time
流、实例数、部署超时时间、环境变量、存储挂载等信息。专属资源池部署的服务，同时展示资源池信息。 “历史更新记录”：展示历史模型相关信息。 监控信息 展示当前服务的“资源统计信息”和“模型调用次数统计”。 “资源统计信息”：包括CPU、内存、GPU、NPU的可用和已用信息。 “模型
LLM可广泛应用于各种大模型推理任务，特别是在需要高性能和高效率的场景中，如自然语言处理、图像生成和语音识别等。 Ascend-vLLM的主要特点 易用性：Ascend-vLLM简化了在大模型上的部署和推理过程，使开发者可以更轻松地使用它。 易开发性：提供了友好的开发和调试环境，便于模型的调整和优化。
Lite过程中遇到问题时，可参考MindSpore Lite官网提供的问题定位指南进行问题定位。 迁移路线介绍 当前推理迁移时，不同的模型类型可能会采取不同的迁移技术路线。主要分为以下几类： CV类小模型例如yolov5，以及部分AIGC场景的模型迁移，目前推荐使用MindSpore-Lite推理路线，可以利用M
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
