检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古自然语言大模型的适用场景有哪些 自然语言处理大模型是一种参数量极大的预训练模型，是众多自然语言处理下游任务的基础模型。学术界和工业界的实践证明，随着模型参数规模的增加，自然语言处理下游任务的效果显著提升，这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模
自然语言处理的监控指标 功能说明 本节定义了自然语言处理服务上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供管理控制台或API接口来检索自然语言处理服务产生的监控指标和告警信息。 命名空间 SYS.NLP 监控指标 表1 NLP支持的监控指标
自然语言处理基础 分词 将文本切分成以独立的词为单位的序列，且在该过程中，对切分得到的词汇进行词性的标注。 依存句法分析 分析句子中词汇和词汇之间的相互依存关系，得到句子的句法结构。例如中文中使用依存句法分析，将一句话分析出主谓宾结构，将宾语定义为谓语动词的支配对象等。 文本相似度
输入语言名称“韩语”，设置“语言参数”并保存。 图8 输入语言名称和语言参数 设置语言参数后，访问网站时显示的语言参数则为自定义语言参数。如图所示。 图9 显示语言参数值 系统默认的语言暂时不支持修改参数，新增语言站点支持修改参数。 复制网页内容。在操作列可以对该语言进行复制和删除
本具体的分类。用户只要提供待处理的文本，而不用关注具体实现。主要应用场景：新闻内容分类，广告识别等。 具体Endpoint请参见终端节点。 调用华为云NLP服务会产生费用，本API支持使用基础套餐包，购买时请在自然语言处理价格计算器中查看基础套餐包和领域套餐包支持的API范围。 本API调用限制为20次/秒。
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
设置语言 setLanguage 接口描述 该接口设置SDK国际化语言。默认是中文。 注意事项 实现自定义语言，要求在主工程的资源文件（路径：/src/main/res/）中创建对应的国际化文件，如新增阿拉伯语则可以创建/values-ar/string.xml。新增的国际化语言，
华为语言理解 华为语言理解连接器基于华为云自然语言处理 NLP进行集成开发，包含“情感分析”、“文本分类”、“文档分类”、“意图理解”等执行动作。 连接参数 华为语言理解连接器使用IAM认证，连接参数说明如表1所示。 表1 连接参数说明 名称 必填 说明 示例值/默认值 连接名称
语言切换 您可以在“系统管理 > 系统设置”页面系统支持切换语言设置。 操作步骤 使用系统管理员sysadmin账号登录API数据安全防护系统web控制台。 在左侧导航栏，选择“系统管理 > 系统设置”。 单击“通用设置”页签的默认语言下拉框选择语言（可选中文或English）。
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingfac
使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表1。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
