检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移评估 推理迁移包括模型迁移、业务迁移、精度性能调优等环节，是否能满足最终的迁移效果需要进行系统的评估。如果您仅需要了解迁移过程，可以先按照本文档的指导进行操作并熟悉迁移流程。如果您有实际的项目需要迁移，建议填写下方的推理业务迁移评估表，并将该调研表提供给华为云技术支持人员进行迁移评估，以确保迁移项目能顺利实施。
资源规格，比如：modelarts.vm.gpu.tnt004。 count 是 Integer 资源规格的保障资源量。 maxCount 否 Integer 资源规格的弹性资源量。物理池中该值和count必须一致。 extendParams 否 extendParams object 自定义配置参数。 os 否
W8A8量化 什么是W8A8量化 W8A8量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。 约束限制 支持SmoothQuant（W8A8）量化的模型列表请参见支持的模型列表。 激活量化支持动态per-token和静态per-tensor，支持非对称量化。
多个，如 128 2048 128 2048，数量需和--prompt-tokens的数量对应。 --benchmark-csv：结果保存文件，如benchmark_parallel.csv。 脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。
NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理。
W8A8量化 什么是W8A8量化 W8A8量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。 约束限制 支持SmoothQuant（W8A8）量化的模型列表请参见支持的模型列表。 激活量化支持动态per-token和静态per-tensor，支持非对称量化。
基于编写工作流代码示例的场景案例进行改造，代码编写示例如下： from modelarts import workflow as wf # 定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage"
多个，如 128 2048 128 2048，数量需和--prompt-tokens的数量对应。 --benchmark-csv：结果保存文件，如benchmark_parallel.csv。 --served-model-name： 选择性添加，在接口中使用的模型名；如果没有配置，则默认为tokenizer。
对应的“操作”列的“更多 > 删除”，在弹窗中输入“DELETE”，单击“确定”，删除模型。 进入OBS控制台，删除本示例使用的OBS桶及文件夹。
ModelArts支持购买两种按需计费的资源池，包括公共资源池和专属资源池。 假设您计划购买按需计费的专属资源池，可在ModelArts控制台“AI专属资源池 > 弹性集群Cluster > Standard资源池”中，单击“购买AI专属集群”，选择“计费模式”为“按需计费”，在页面左下角查看所需费用。费用指的是资源池根据所选配置计算的费用。
Lite的Lite k8s Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称
\"request\":{\"data\":{\"type\":\"object\",\"properties\":{\"images\":{\"type\":\"file\"}}},\"Content-type\":\"multipart/form-data\"},\"response\":{\"data
3026-X6c3N3eztX7cr3Arvqu/annotation/V001/V001.manifest", "file_path" : "s3://test-obs/classify/output/dataset-3026-X6c3N3eztX7cr3A
NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyTorch-NPU的推理。
NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyT
NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyT
Gallery直接下载（例如：8类常见生活垃圾图片数据集）。 from modelarts import workflow as wf # 定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage"
资源规格名称，比如：modelarts.vm.gpu.tnt004。 count Integer 规格保障使用量。 maxCount Integer 资源规格的弹性使用量，物理池该值和count相同。 azs Array of azs objects 资源所在的AZ的数量。 nodePool String
NPU训练指导 LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导 LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导 LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导 支持如下模型适配PyT
资源规格名称，比如：modelarts.vm.gpu.tnt004。 count Integer 规格保障使用量。 maxCount Integer 资源规格的弹性使用量，物理池该值和count相同。 azs Array of azs objects 资源所在的AZ的数量。 nodePool String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
