检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动续费。 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 图1 单个续费 批量续费：在资源页面勾选需要续费的资源，单击列表左上角的“批量续费”。 选择资源的续费时长，判断是否勾选“统一到期日”，将资源的到期时间统一到各个月的某一天（详细介绍请参见
单个账号最多可创建20个在线服务。 是 提交工单申请提升配额 更多信息，请参见部署在线服务。 Standard推理部署批量服务 单个账号最多可创建1000个批量服务。 否 更多信息，请参见部署批量服务。 Standard推理部署边缘服务 单个账号最多可创建1000个边缘服务。 否 无 Standard专属资源池
String 推理方式，取值包含： real-time：在线服务 batch：批量服务 edge: 边缘服务 workspace_id String 工作空间ID。 cluster_id String 在线/批量服务使用的专属资源池ID或边缘服务使用的边缘资源池ID，仅当配置专属资源池或边缘资源池时返回。
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下：
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16
ModelArts昇腾迁移调优工具总览 ModelArts集成了多个昇腾迁移调优工具，方便您在ModelArts平台环境中进行训练推理迁移、精度调试、性能调优等工作，您可在下表中查看当前ModelArts支持的昇腾迁移调优工具及对应指导。 表格中的部分工具已集成到ModelArt
使用SmoothQuant量化工具转换权重 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表1。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。
使用Gallery CLI配置工具上传文件 在服务器（ModelArts Lite云服务器或者是本地Windows/Linux等服务器）上登录Gallery CLI配置工具后，通过命令“gallery-cli upload”可以往AI Gallery仓库上传资产。 命令说明 登录Gallery
子，帮助用户快速处理数据。 提供交互式标注、智能标注等能力，提升用户数据标注的效率。 提供团队标注以及团队标注流程管理能力，帮助用户提升大批量数据标注的能力。 父主题： 数据准备与处理
进入在线服务管理页面。 单击在线服务列表“操作”列的“更多>删除”删除服务。 勾选在线服务列表中的服务，然后单击列表左上角“删除”按钮，批量删除服务。 单击目标服务名称，进入服务详情页面，单击右上角“删除”删除服务。 删除操作无法恢复，请谨慎操作。 没有委托授权时，无法删除服务。
msprobe API预检 msprobe是MindStudio Training Tools工具链下精度调试部分的工具包，主要包括精度预检、溢出检测和精度比对等功能，目前适配PyTorch和MindSpore框架。这些子工具侧重不同的训练场景，可以定位模型训练中的精度问题。 精
动态卸载OBS。 标签管理 添加资源标签 给指定Notebook资源添加标签，支持批量添加，当添加的标签key已存在，则覆盖该标签的value。 删除资源标签 删除指定Notebook资源的标签，支持批量删除。 镜像管理 查询支持的镜像列表 根据指定条件分页查询满足条件的所有镜像。 注册自定义镜像
√ √ 批量添加样本 POST /v2/{project_id}/datasets/{dataset_id}/data-annotations/samples modelarts:sample:addSamples obs:object:PutObject √ √ 批量删除样本 POST
改端口？ ModelArts平台是否支持多模型导入？ 在ModelArts中导入模型对于镜像大小有什么限制？ ModelArts在线服务和批量服务有什么区别？ ModelArts在线服务和边缘服务有什么区别？ 在ModelArts中部署模型时，为什么无法选择Ascend Snt3资源？
异步请求：单次推理，需要异步处理返回结果（约>60s）。例如: 实时视频推理、大视频文件。 创建时间 模型的创建时间。 描述 模型的描述。 操作 部署：将模型发布为在线服务、批量服务或边缘服务。 创建新版本：创建新的模型版本。参数配置除版本外，将默认选择上一个版本的配置信息，您可以对参数配置进行修改。 删除：删除对应的模型。
人工标注：用户创建单人标注作业，对数据进行手工标注。 智能标注：在标注一定量的数据情况下，用户可以通过启动智能标注任务对数据进行自动标注，提高标注的效率。 团队标注：对于大批量的数据，用户可以通过创建团队标注作业，进行多人协同标注。 人工标注 对于不同类型的数据，用户可以选择不同的标注类型。当前ModelArts支持如下类型的标注作业：
project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 service_id 是 String 服务ID，如需批量删除多个服务，则将多个service_id使用英文半角逗号拼接。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
运行模型需要的环境变量键值对，可选填，默认为空。 src_path 是 String 批量任务输入数据的OBS路径。 dest_path 是 String 批量任务输出结果的OBS路径。 req_uri 是 String 批量任务中调用的推理接口，需要从模型的config.json文件中选取一个api路径用于此次推理
在ModelArts中物体检测标注时能否自定义标签？ 可以通过修改数据集给标签添加自定义属性来设置一些自定义的属性。 图1 修改数据集 父主题： Standard数据准备
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
