检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
https://huggingface.co/models?sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 1、在容器中使用ma-user用户， vLLM使用transformers版本与awq冲突，需要切换conda环境，运行以下命令下载并安装AutoAWQ源码。
后的权重包括原始权重和kvcache的scale系数。 抽取kv-cache量化系数。 该步骤的目的是将步骤1中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales.py \
型列表和权重文件。 本章节介绍如何在Notebook使用tensorRT量化工具实现推理量化。 Step1使用tensorRT量化工具进行模型量化 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NV
e的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供： python3 examples/fp8/extract_scales
工具固定Seed 对于网络中随机性的固定，msprobe提供了固定Seed的方式，只需要在config.json文件中添加对应seed配置即可。 msprobe工具提供了seed_all接口用于固定网络中的随机数。如果客户使用了工具但取用了其他随机种子，则必须使用客户的随机种子固定随机性。
在ModelArts中使用边缘节点部署边缘服务时能否使用http接口协议？ 系统默认使用https。如果您想使用http，可以采取以下两种方式： 方式一：在部署边缘服务时添加如下环境变量： MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二：在使用自定义镜像
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16
户只需要专注于本地的代码开发即可。 本章节介绍如何使用PyCharm ToolKit插件创建训练作业并调试。 前提条件 Step1 下载并安装PyCharm ToolKit。 在本地PyCharm中已有训练代码工程。 已在OBS中创建桶和文件夹，用于存放数据集和训练输出模型。 例
使用自动学习实现声音分类 准备声音分类数据 创建声音分类项目 标注声音分类数据 训练声音分类模型 部署声音分类服务 父主题： 使用自动学习实现零代码AI开发
使用自动学习实现文本分类 准备文本分类数据 创建文本分类项目 标注文本分类数据 训练文本分类模型 部署文本分类服务 父主题： 使用自动学习实现零代码AI开发
使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC
Step2 为用户配置云服务使用权限 主用户为子账号授予ModelArts、OBS等云服务的使用权限后，子账号才可以使用这些云服务。此步骤介绍如何为用户组中的所有子账号授予使用ModelArts、OBS、SWR等各类云服务的权限。 主用户在IAM服务的用户组列表页面，单击“授权”，进入到授权页面，为子账号配置权限。
登录VS Code插件 登录后，VS Code自动同步ModelArts中的训练作业列表，并进入开发场景选择页面，如图3所示。选择合适的开发场景，并选择工作目录后，进入训练作业代码存储路径选择界面，单击“使用OBS”或“使用SFS”，填写OBS或SFS路径，单击“确定”。选择此路径后，会
API文档以及常用的Python编码，您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时，实际调用的是HTTP连接读取网络流，注意要记得在读取完毕后将文件关闭。为了防止忘记文件关闭操作，推荐使用with语句，在with语句退出时会自动调用mox
密钥对在用户第一次创建时，自动下载，之后使用相同的密钥时不会再有下载界面（用户一定要保存好），或者每次都使用新的密钥对。 Step1 添加Remote-SSH插件 在本地的VS Code开发环境中，单击左侧列表的Extensions图标选项，在搜索框中输入SSH，单击Remote-SS
使用自动学习实现物体检测 准备物体检测数据 创建物体检测项目 标注物体检测数据 训练物体检测模型 部署物体检测服务 父主题： 使用自动学习实现零代码AI开发
部署上线。具体操作步骤如下。 在“运行节点”页面中，待训练状态变为“等待输入”，双击“服务部署”节点，完成相关参数配置。 在服务部署页面，选择模型部署使用的资源规格。 模型来源：默认为生成的模型。 选择模型及版本：自动匹配当前使用的模型版本，支持选择版本。 资源池：默认公共资源池。
使用ModelArts Standard部署模型并推理预测 推理部署使用场景 创建模型 创建模型规范参考 将模型部署为实时推理作业 将模型部署为批量推理服务 管理ModelArts模型 管理同步在线服务 管理批量推理作业
的模型。模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面，单击创建成功的项目名称，查看当前工作流的执行情况。 在“预测分析”节点中，待节点状态由“运行中”变为“运行成功”，即完成了模型的自动训练。 训练完成后，您可以在预测分析节点中单击查看训练详情，如“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
