检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
升级模型服务 在AI开发过程中，服务升级包括对已部署的模型服务进行优化，以提高性能、增加功能、修复缺陷，并适应新的业务需求。更新模型版本作为服务升级的一部分，涉及用新训练的模型版本替换原来的模型，以提高预测的准确性和模型的环境适应性。 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts
模型压缩是指将高比特浮点数映射到低比特量化空间，从而减少显存占用的资源，降低推理服务时延，提高推理服务吞吐量，并同时减少模型的精度损失。模型压缩适用于追求更高的推理服务性能、低成本部署以及可接受一定精度损失的场景。 ModelArts Studio大模型即服务平台当前支持SmoothQuant-W8A8和AWQ-W4A16两种压缩策略。
相对于之前demo.sh方式启动（历史版本）的启动方式，本章节新增了通过benchmark工具启动训练的方式。此方式训练完成后json日志或打屏日志直接打印性能结果，免于计算，方便用户验证发布模型的质量。并且新的训练方式将统一管理训练日志、训练结果和训练配置，使用yaml配置文件方便用户根据自己实际需求进行修改。
击“注册镜像”，镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可，或单击可直接从SWR选择自有镜像进行注册，类型加上“GPU”，如图1所示。 图1 注册镜像 登录ModelArts管理控制台，在左侧导航栏中选择“开发空间 > Notebook”，进入“Notebook”列表页面。
ModelAdditionalProperties> 模型部署附加属性，便于服务实例管理。 表7 CustomSpec 参数 参数类型 描述 gpu_p4 Float GPU个数，可选，默认不使用，支持配置小数，输入值不能小于0（最多支持2位小数，小数点后第3位做四舍五入处理）。 memory Integer
Lite Server资源使用 LLM/AIGC/数字人基于Server适配NPU的训练推理指导 GPT-2基于Server适配PyTorch GPU的训练推理指导
击“注册镜像”，镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可，或单击可直接从SWR选择自有镜像进行注册，类型加上“GPU”，如图1所示。 图1 注册镜像 登录ModelArts管理控制台，在左侧导航栏中选择“开发空间 > Notebook”，进入“Notebook”列表页面。
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
配置Lite Server软件环境 NPU服务器上配置Lite Server资源软件环境 GPU服务器上配置Lite Server资源软件环境 父主题： Lite Server资源配置
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景
IMAGE_SAVE：Notebook实例保存镜像。 resource_categories Array of strings 镜像支持的规格。枚举值如下： CPU GPU ASCEND service_type String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE: 建议仅在推理部署场景使用。
Snt9系列可为用户解决图像分类和物体检测两大类模型训练场景；Ascend Snt3系列可应用于图像分类、物体检测、图像分割、NLP等常用深度学习领域高性能推理场景。同时，使用MindSpore开发的模型可直接在ModelArts平台完成训练和推理。 发布区域：华北-北京四、西南-贵阳一
--tensor-parallel-size=1 \ --block-size=128 \ --host=${docker_ip} \ --port=8080 \ --gpu-memory-utilization=0.9 \ --num-scheduler-steps=8 \ --trust-remote-code
创建单机多卡的分布式训练（DataParallel） 创建多机多卡的分布式训练（DistributedDataParallel） 示例：创建DDP分布式训练（PyTorch+GPU） 示例：创建DDP分布式训练（PyTorch+NPU） 父主题： 使用ModelArts Standard训练模型
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。
译的缓存文件。当服务第二次启动时，可通过缓存文件来快速完成图编译的过程，避免长时间的等待，并且基于图编译缓存文件来启动服务可获得更优的推理性能，因此请在有图编译缓存文件的前提下启动服务。另外，当启动服务时的模型或者参数发生改变时，请删除.torchair_cache文件夹，避免由于缓存文件与实际推理不匹配而报错。
只是SFS客户端I/O速度变慢或卡顿，但最终会争取处理。 处理方法 结合当前购买的SFS盘性能规划业务， 建议不要运行到性能上限。 可以购买多个SFS Turbo实例分担业务压力， 或者更换高性能的SFS盘。 一个SFS实例容量建议不要太大，建议以同样的成本换成购买多个SFS实例。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
