检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Standard准备工作 配置ModelArts Standard访问授权 创建并管理工作空间 创建OBS桶用于ModelArts存储数据
专属资源池创建训练作业 创建训练作业界面无云存储名称和挂载路径排查思路 父主题： 训练作业
表中，停止因运行自动学习作业而创建的服务。操作完成后，ModelArts服务即停止计费。 登录OBS控制台，进入自己创建的OBS桶中，删除存储在OBS中的数据。操作完成后，OBS服务即停止计费。 对于使用专属资源池创建的自动学习作业： 登录ModelArts控制台，在自动学习作业
创建调优任务时设置的“节点个数”。 吞吐 吞吐表示每秒每卡处理的Tokens数量，吞吐值的上下限可以参考表5获取。 单位：tokens/s/p 前后处理时间 调优时长还包括训练前的数据预处理、训练后格式转换等调优之外的耗时，统称为前后处理时间。 调优任务的前后处理时间和模型参数量相关，不同参数量的时间估值如下：
APIG（API网关）和模型。 处理方法 优先排查APIG（API网关）是否是通的，可以在本地使用curl命令排查，命令行：curl -kv {预测地址}。如返回Timeout则需排查本地防火墙，代理和网络配置。 检查模型是否启动成功或者模型处理单个消息的时长。因APIG（API
Lite Server资源配置 Lite Server资源配置流程 配置Lite Server网络 配置Lite Server存储 配置Lite Server软件环境
创建AI应用 功能介绍 导入元模型创建AI应用。 执行代码、模型需先上传至OBS（训练作业生成的模型已默认存储到OBS）。 接口约束 使用模板导入模型与不使用模板导入这两类导入方式的Body参数要求不一样。以下Body参数说明中以模板参数表示适合使用模板导入模型时填写的参数，非模
如您将已标注好的图片上传至OBS桶，请按照如下规范上传。 图像分类数据集要求将标注对象和标注文件存储在同一目录，并且一一对应，例如标注对象文件名为“10.jpg”，那么标注文件的文件名应为“10.txt”。 数据文件存储示例： ├─<dataset-import-path> │
型的质量，如不能统一管理开发流程元数据，可能会出现无法重现最优模型的现象。 ModelArts的模型可导入所有训练生成的元模型、上传至对象存储服务（OBS）中的元模型和容器镜像中的元模型，可对所有迭代和调试的模型进行统一管理。 约束与限制 自动学习项目中，在完成模型部署后，其生成
Lite Cluster 资源池创建失败的原因与解决方法？ Cluster资源池节点故障如何定位 特权池信息数据显示均为0%如何解决？ 重置节点后无法正常使用？
用户项目ID，获取方法请参见获取项目ID和名称。 storage_id 是 String OBS存储ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 category String 存储类型。可选值为OBS。 id String 动态挂载实例ID。 mount_path
Cluster资源配置 Lite Cluster资源配置流程 配置Lite Cluster网络 配置kubectl工具 配置Lite Cluster存储 （可选）配置驱动 （可选）配置镜像预热
CodeLab 如何将git clone的py文件变为ipynb文件 Notebook里面运行的实例，如果重启，数据集会丢失么？ Jupyter可以安装插件吗？ 是否支持在CodeLab中使用昇腾的卡进行训练？ 如何在CodeLab上安装依赖？ 父主题： Standard Notebook
能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
在DevServer上部署SD WebUI推理服务 本章节主要介绍如何在ModelArts的DevServer环境上部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 步骤一 准备环境 请参考DevServer资源开通，购买DevServer资源，并确保
能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
# 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x
# 执行静态、动态性能评测脚本 ├── requirements.txt # 第三方依赖 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x
部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。
能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
