检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传数据和算法至SFS（首次使用时需要） 前提条件 ECS服务器已挂载SFS，请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户，请参考在ECS中创建ma-user和ma-group。 已经安装obsutil，请参考下载和安装obsutil。
扩缩容模型服务实例数 在使用大型模型进行推理时，其业务需求会呈现出明显的峰谷波动。因此，模型服务必须具备灵活的扩缩容能力，以适应不同时间段内的用户负载变化，确保服务的高可用性和资源的高效利用。 ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数，该操作不会影响部署服务的正常运行。
SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuan
性能调优总体思路 为了便于用户快速进行迁移调优，降低调优门槛，ModelArts提供了MA-Adivisor性能自动诊断工具。用户采集性能profiling数据后，可通过该工具自动扫描profiling数据，工具分析完数据后会给出可能的性能问题点及调优建议，用户可以根据调优建议做相应
资源选择推荐 不同AI模型训练所需要的数据量和算力不同，在训练时选择合适存储及训练方案可提升模型训练效率与资源性价比。ModelArts支持单机单卡、单机多卡和多机多卡的训练场景，满足不同AI模型训练的要求。针对第一次使用ModelArts的用户，本文提供端到端案例指导，帮助您快速了解
g、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub - BradyFU/Awesome-Multimodal
g、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub - BradyFU/Awesome-Multimodal
如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b
资源浪费。 连接、停止、启动和断开Notebook实例。 连接Notebook实例。 当Notebook实例为绿色三角形状态时，表示该实例运行中（但未与PyCharm连接）。此时单击该实例名称，实例会变为绿色勾状态，表示PyCharm已与实例连接成功。 图21 实例运行中状态 停止Notebook实例。
Array of strings 镜像支持的服务。枚举值如下： NOTEBOOK：镜像支持通过https协议访问Notebook。 SSH：镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像，需要指定镜像ID，ID格式为通用唯一识别码（Universally
/v2/{project_id}/algorithms/{algorithm_id} modelarts:aiAlgorithm:get - √ √ 父主题： 权限策略和授权项
更新处理任务 功能介绍 更新处理任务，支持更新“特征分析”任务和“数据处理”两大类任务，仅支持更新任务的描述。可通过指定路径参数“task_id”来更新某个具体任务。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK
6-34b ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 LLM开源大模型基于DevServer适配PyTorch
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 获取配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6.3.905-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
size参数，指定-1时为per-channel权重量化，W4A16支持128和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mi
size参数，指定-1时为per-channel权重量化，W4A16支持128和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mi
size参数，指定-1时为per-channel权重量化，W4A16支持128和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。 --calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mi
默认llava。 ASCEND_RT_VISIBLE_DEVICES：表示支持多个模型服务实例，同时支持模型并行，如 0,1:2,3 默认0卡。 QUANTIZATION：为量化选项，不传入默认为None即不启用量化；支持w4a16，需配套对应的权重使用。 GPU_MEMORY_UTIL
数据集遵循的使用许可协议，根据业务需求选择合适的许可证类型。 语言 选择使用数据集时支持的输入输出语言。 任务类型 选择数据集支持用于什么类型的训练模型。 运行平台 选择数据集额外支持的运行平台。 设置运行平台后，当资产上架后，该资产支持通过订阅的方式同步到所选运行平台使用。 设置运行平台后，单击“设
SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
