检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置", default="**") # 数据集对象 dataset = wf.data.DatasetPlac
Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理
al/Ascend/driver目录。 X86 CPU架构和ARM CPU架构的自定义镜像分别只能运行于对应CPU架构的规格中。 执行如下命令，查看自定义镜像的CPU架构。 docker inspect {自定义镜像地址} | grep Architecture ARM CPU架构的自定义镜像，上述命令回显如下。
服务编号，可通过查询服务列表获取。 api_id 是 String APP编号。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工
如何在Notebook中安装外部库？ 如何获取本机外网IP？ 如何解决“在IOS系统里打开ModelArts的Notebook，字体显示异常”的问题？ Notebook有代理吗？如何关闭？ 在Notebook中添加自定义IPython Kernel 父主题： Standard Notebook
LabelTaskConfig wf.data.LabelTaskTypeEnum wf.data.MetricsConfig wf.data.TripartiteServiceConfig wf.data.DataConsumptionSelector policy包相关内容导入： wf
SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuan
aces 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 分页列表的起始页，默认为'0'。 limit
操作资源池中的节点和k8s集群。请参见弹性集群k8s Cluster。 弹性裸金属：弹性裸金属提供不同型号的xPU裸金属服务器，您可以通过弹性公网IP进行访问，在给定的操作系统镜像上可以自行安装GPU&NPU相关的驱动和其他软件，使用SFS或OBS进行数据存储和读取相关的操作，满
参数是否运行时输入，默认为“False”，在工作流启动运行前进行配置。设置为“True”，则在使用的相应节点运行时卡点配置。 否 bool description 参数描述信息。 否 str enum_list 参数枚举值列表，只有当参数类型为PlaceholderType.ENUM时才需要填写。
String 工作空间名称。长度限制为4-64字符，支持中文、大小写字母、数字、中划线和下划线。同时'default'为系统预留的默认工作空间名称，用户无法自己创建名为'default'的工作空间。 description String 工作空间描述，默认为空。长度限制为0-256字符。 id
kers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer
将自定义的推理文件和模型配置文件保存在训练生成的模型文件目录下。如训练生成的模型保存在“/home/ma-user/work/tensorflow_mlp_mnist_local_mode/train/model/”中，则推理文件“customize_service.py”和模型配置文件“config
API接口。配置文件为JSON格式。配置文件中的“dependencies”，表示配置模型推理代码需要的依赖包，需要提供依赖包名、安装方式和版本约束的信息，详细参数见模型配置文件编写说明。导入模型时，模型配置文件中的安装包依赖参数“dependencies”如何编写？ 解决方案
参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 标注团队描述，长度为0-256位，不能包含^!<>=&"'特殊字符。
W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install
https://github.com/vllm-project/llm-compressor.git cd llm-compressor pip install -e . 修改examples/quantizing_moe/deepseek_moe_w8a8_int8.py中的代码：
module named 'multipart'"报错： 截图如下： 解决措施：可更新python-multipart为0.0.12版本，具体步骤如下： 启动训练任务前更新python-multipart版本： pip install python-multipart==0.0.12 父主题：
储容量和时长收费。您也可以购买包年包月套餐，提前规划资源的使用额度和时长。在欠费时，您需要及时（15天之内）续费以避免您的文件系统资源被清空。SFS购买指导请参考如何购买弹性文件服务？。 购买容器镜像服务SWR 容器镜像服务分为企业版和共享版。 共享版计费项包括存储空间和流量费用，目前均免费提供给您。
8_train_ascend.zip，复制到已有的OBS桶中，示例代码如下。 import os import zipfile import moxing as mox mox.file.copy('yolov8_train_ascend.zip','obs://pcb-data-me/pcb
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
