检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface
version 原因分析 出现该问题的可能原因如下： conda和pip包混装，有一些包卸载不掉。 处理方法 参考如下代码，三步走。 先卸载numpy中可以卸载的组件。 删除你环境中site-packages路径下的numpy文件夹。 重新进行安装需要的版本。 import os os
流水账单”中，“消费时间”即按需产品的实际使用时间。 查看自动学习和Workflow的账单 自动学习和Workflow运行时，在进行训练作业和部署服务时，会产生不同的账单。 训练作业产生的账单可参考查看训练作业的账单查询。 部署服务产生的账单可参考查看在线服务的账单查询。 查看Notebook的账单 登录
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表1。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。
othQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下:
othQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下:
高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't open for writing’ 原因分析 出现该问题的可能原因如下： moxing对高版本的pandas兼容性不够。
Standard数据管理支持多维度数据管理能力 数据集管理：提供数据集创建、数据预览、数据集版本管理等能力 数据标注：提供在线标注能力，包含图像分类、目标检测、音频分割、文本三元组等标注场景；提供图片智能标注方案，提升标注效率；提供团队标注能力，支持多人协同标注与标注任务的审核验收 数据处理：提供数据清洗、数据校验、数据增强、数据选择等分析处理能力
<镜像名称>:<版本名称>：定义镜像名称。示例：pytorch_2_2_ascend:20241106 install_type:安装类型，默认为all，可选【modellink、llmafactory、all】 构建镜像前需保证Dockerfile文件内容中镜像名与本文档镜像保持一致，如不同则需修改为一致。
load_state_dict(state_dict) 必现的问题，使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。
space"） 解决方法 在遇到资源不足的情况时，ModelArts会进行三次重试，在服务重试期间，如果有资源释放出来，则服务可以正常部署成功。 如果三次重试后依然没有足够的资源，则本次服务部署失败。参考以下方式解决： 如果是在公共资源池部署服务，可等待其他用户释放资源后，再进行服务部署。
Session鉴权。 登录ModelArts控制台，在“开发环境 > Notebook”中创建Notebook实例，在Terminal或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK，可直接参考接口说明，执行OBS管理、作业管理、模型管理和服务管理等操作。
attribute 'concat'。 原因分析 出现该问题的可能原因如下： 对应python包使用错误，该python包确实没有对应的变量或者方法 第三方pip源中的python包版本更新，导致在训练作业中安装的python包的版本可能也会发生变化。如训练作业之前无此问题，后面一直有此问题，则考虑是此原因。
批量重启节点 功能介绍 批量重启指定资源池中的节点 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/pools/{pool
动态卸载OBS 功能介绍 卸载后，OBS存储中的对象保持不变，Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
错“RuntimeError: connect() timed out”。 原因分析 出现该问题的可能原因如下： 如果在此之前是有进行数据复制的，每个节点复制的速度不是同一个时间完成的，然后有的节点没有复制完，其他节点进行torch.distributed.init_process_group()导致超时。
instance_id 是 String Notebook实例ID，可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 storage_id 是 String OBS存储ID。 请求参数 无 响应参数 状态码： 200
Array of DataVolumesRes objects 数据。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表3 DataVolumesRes 参数 参数类型 描述 category String 存储类型。可选值为OBS。
开通自动续费后，还可以手动续费该专属资源池。手动续费后，自动续费仍然有效，在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置，您也可以根据需要修改此扣款日，如到期前6日、到期前5日等。 更多关于自动续费的规则介绍请参见自动续费规则说明。 前提条件 请确认包年/包月专属资源池还未到期。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
