检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题8：使用autoAWQ进行qwen-7b模型量化时报错TypeError: 'NoneType' object is not subscriptable 解决办法：修改qwen-7b权重路径下modeling_qwen.py第39行为SUPPORT_FP16 = True 父主题： 主流开源大模型基于Server适配PyTorch
络配置，此处需要授予用户VPC权限。 （可选）配置SFS和SFS Turbo权限。如果用户在专属资源池中挂载SFS系统作为开发环境或训练的存储时，需要授予使用权限。 单击左上角的“查看已选”，确认已勾选的权限。 再单击“下一步”，设置最小授权范围。单击“指定区域项目资源”，勾选待授权使用的区域，单击“确定”。
depth Long 图片深度。 segmented String 分割。 mask_source String 图像分割得到的mask文件的云存储路径，目前只支持PNG格式。 voc_objects JSON Array 标注对象列表，详细请见表4。 表3 source参数 参数 参数类型
否 String 超参上界。 discrete_points_num 否 String 连续型超参离散化取值个数。 discrete_values 否 Array of strings 离散型超参的取值列表。 表12 AlgoConfigs 参数 是否必选 参数类型 描述 name
在创建训练作业时，设置训练“输出”参数为“train_url”，在指定的训练输出的数据存储位置中保存Checkpoint，且“预下载至本地目录”选择“下载”。选择预下载至本地目录时，系统在训练作业启动前，自动将数据存储位置中的Checkpoint文件下载到训练容器的本地目录。 图1 训练输出设置
ugging Face格式权重输出的路径（确保添加CONVERT_MG2HF环境变量并设置为True）。 分别单击“输入”和“输出”的数据存储位置，如图所示，选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。
ugging Face格式权重输出的路径（确保添加CONVERT_MG2HF环境变量并设置为True）。 分别单击“输入”和“输出”的数据存储位置，如图所示，选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。
容器中的日志路径。 表9 PersistentVolumes 参数 是否必选 参数类型 描述 name 否 String 存储卷的名称。 mount_path 是 String 存储卷在容器中的挂载路径。如：/tmp。请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。
可以用一个run脚本把整个流程包起来。run.sh脚本的内容可以参考如下示例： #!/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 ##本示例以AK和SK保存在环境变量中来实现身份验证为例
运行日志。如需了解LTS专业日志管理功能，请参见云日志服务。 说明： “运行日志输出”开启后，不支持关闭。 LTS服务提供的日志查询和日志存储功能涉及计费，详细请参见了解LTS的计费规则。 请勿打印无用的audio日志文件，这会导致系统日志卡死，无法正常显示日志，可能会出现“Failed
可以用一个run脚本把整个流程包起来。run.sh脚本的内容可以参考如下示例： #!/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 ##本示例以AK和SK保存在环境变量中来实现身份验证为例
署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服务，具体操作可以参考案例：使用ModelArts
配置运行的操作，对Workflow代码改造如下。 from modelarts import workflow as wf # 定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage"
约束限制 为了避免新设置的环境变量与系统环境变量冲突，而引起作业运行异常或失败，请在定义自定义环境变量时，不要使用“MA_”开头的名称。 如何修改环境变量 用户可以在创建训练作业页面增加新的环境变量，也可以设置新的取值覆盖当前训练容器中预置的环境变量值。 为保证数据安全，请勿输入敏感信息，例如明文密码。
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 若需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何创建AI应用，部署模型并启动推理服务，在线预测服务。
请准备好训练脚本，并上传至OBS目录。训练脚本开发指导参见开发用于预置框架训练的代码。 在训练代码中，用户需打印搜索指标参数。 已在OBS创建至少1个空的文件夹，用于存储训练输出的内容。 由于训练作业运行需消耗资源，确保账户未欠费。 确保您使用的OBS目录与ModelArts在同一区域。 创建算法 进入Mo
创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明： “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格，以实际界面显示为准，将会根据不同的规格计费。 说明：
创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明： “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格，以实际界面显示为准，将会根据不同的规格计费。 说明：
├── requirements.txt # 第三方依赖 目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
