检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
被用户标注为某个分类的所有样本中，模型正确预测为该分类的样本比率，反映模型对正样本的识别能力。 precision：精确率 被模型预测为某个分类的所有样本中，模型正确预测的样本比率，反映模型对负样本的区分能力。 accuracy：准确率 所有样本中，模型正确预测的样本比率，反映模型对样本整体的识别能力。 f1：F1值
完成图片标注后，可进行模型的训练。模型训练的目的是得到满足需求的图像分类模型。请参考前提条件确保已标注的图片符合要求，否则数据集校验将会不通过。 前提条件 请确保您的数据集中的已标注的图片不低于100张。 请确保您的数据集中至少存在2种以上的图片分类，且每种分类的图片不少于5张。 操作步骤
支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant
支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant
oothQuant(W8A8)量化的模型列表请参见表1。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下:
支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant
支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant
支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant
发布完成后可前往gallery查看相应的资产信息，资产权限默认为private，可在资产的console页面自行修改。 进入AI Gallery。 单击“我的Gallery>我的资产>Workflow”，进入我的Workflow页面。 在“我的发布”页签中查看发布到AI Gallery的工作流。 图1 发布的Workflow
txt 文本分类的标注对象和标注文件均为文本文件，并且以行数进行对应。如标注文件中的第一行表示的是标注对象文件中的第一行的标注。 例如，标注对象“COMMENTS_114745.txt”的内容如下所示。 手感很好，反应速度很快，不知道以后怎样 三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面
支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant
gInput的列表 outputs 数据集标注节点的输出列表 是 LabelingOutput或者LabelingOutput的列表 properties 数据集标注相关的配置信息 是 LabelTaskProperties title title信息，主要用于前端的名称展示 否
outputs 模型注册节点的输出列表 是 ModelOutput或者ModelOutput的列表 title title信息，主要用于前端的名称展示 否 str description 模型注册节点的描述信息 否 str policy 节点执行的policy 否 StepPolicy depend_steps
spec 作业使用的资源规格相关配置 是 JobSpec inputs 作业节点的输入列表 是 JobInput或者JobInput的列表 outputs 作业节点的输出列表 是 JobOutput或者JobOutput的列表 title title信息，主要用于前端的名称展示 否 str
Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时，请选择非加密桶进行上传，否则会由于加密桶无法解密导致后期的训练失败。 用于训练的图片，至少有1种以上的分类，每种分类的图片数不少50张。 创建数据集 数据准备完成后，需要创建相应项目支持的类型的数据集，具体操作请参考创建ModelArts数据集。
保证图片质量：不能有损坏的图片，目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。 每一类数据尽量多，尽量均衡。期望获得良好效果，图像分类项目中，至少有两种以上的分类，每种分类的样本不少于20张。 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。
LoRA（Low-Rank Adaptation）是一种适用于大模型的轻量化微调技术方法。原理是通过在模型层中引入低秩矩阵，将大模型的权重降维处理，来实现高效的模型适配。相比于传统的微调方法，LoRA不仅能大幅减少所需的训练参数，还降低了显存和计算成本，加快了模型微调速度。对于VLL
ModelArts的推理在线服务对应的资源类型。 ModelArts-ResourcePool ModelArts的专属资源池对应的资源类型。 如您的组织已经设定ModelArts的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。
if_then_steps表示的是当Condition比较的结果为true时允许执行的节点列表，存储的是节点名称；此时else_then_steps中的step跳过不执行。 else_then_step表示的是当Condition比较的结果为false时允许执行的节点列表，存储的是节点名称；此时
运行完成后，会在output_dir下生成量化后的权重。量化后的权重包括原始权重和kvcache的scale系数。 Step2 抽取kv-cache量化系数 该步骤的目的是将Step1使用tensorRT量化工具进行模型量化中生成的scale系数提取到单独文件中，供推理时使用。 使用的抽取脚本由vllm社区提供：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
