检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TCP协议的22端口。 ping命令是一种基于ICMP协议（Internet Control Message Protocol）的网络诊断工具，利用ICMP协议向目标主机发送数据包并接收返回的数据包来判断网络连接质量。当安全组的入方向规则中没有包含ICMP协议，就会出现ping不通的问题。
接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 执行如下命令进入容器，并进入AutoAWQ目录下，
有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 执行如下命令进入容器，并进入AutoAWQ目录下，
有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库：
在JupyterLab中使用MindInsight可视化作业 ModelArts支持在开发环境中开启MindInsight可视化工具。在开发环境中通过小数据集训练调试算法，主要目的是验证算法收敛性、检查是否有训练过程中的问题，方便用户调测。 MindInsight能可视化展现出训
自动学习简介 自动学习功能介绍 ModelArts自动学习是帮助人们实现模型的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。
套解决方案。 应用中心介绍 “MaaS应用实践中心”提供基于行业客户应用场景的AI解决方案。MaaS提供的模型服务和华为云各AI应用层构建工具之间相互连通，通过灵活的组合方案，来帮助客户快速解决模型落地应用时所面临的业务及技术挑战。 MaaS应用实践中心结合KooSearch企业
在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构，此处以llama2-13B为例（权重文件可能变化，以下仅为举例）：
在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构，此处以llama2-13B为例（权重文件可能变化，以下仅为举例）：
图1 修改defaults.ini文件 其中： root_url的组成为：https:{jupyterlab域名}/{INSTANCE_ID}/grafana。域名和INSTANCE_ID可以从打开的jupyterLab页面地址栏获取，如下： Serve_from_sub_path设置为true
Deepseek-v2系列模型的W8A8量化需要使用llm-compressor工具。 SmoothQuant量化模型 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
自定义镜像规范 AI Gallery支持托管自定义镜像，但是托管的自定义镜像要满足规范才支持使用AI Gallery工具链服务（微调大师、在线推理服务）。 自定义镜像的使用流程 托管自定义镜像，操作步骤请参考托管模型到AI Gallery。 如果自定义镜像要支持训练，则需要满足自定义镜像规范（训练）。
知识。ModelArts Studio大模型即服务平台（后续简称为MaaS服务）作为一个面向客户的大模型服务化平台，提供简单易用的模型开发工具链，支持大模型定制开发，让模型应用与业务系统无缝衔接，显著降低了企业AI落地的成本与难度。 业界主流开源大模型覆盖全 MaaS集成了业界主
大规模分布式训练能力，加速大模型研发。 提供高性价比国产算力。 多年软硬件经验沉淀，AI场景极致优化。 加速套件，训练、推理、数据访问多维度加速。 一站式端到端生产工具链，一致性开发体验 开“箱”即用，涵盖AI开发全流程，包含数据处理、模型开发、训练、管理、部署功能，可灵活使用其中一个或多个功能。 支持本地IDE+ModelArts
设置API 检测项目与执行条件 检测项目 item（日志关键字） 执行条件 检测成功要求 域名检测 dns 无 volcano容器的域名都解析成功（/etc/volcano下的“.host”文件中的域名解析成功） 磁盘空间-容器根目录 disk-size root 无 大于32GB 磁盘空间-/dev/shm目录
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
