检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
段落重复率。 重复段落长度占比。 非中文字符占比。 句子特征过滤 该算子将文档中的标点符号作为句子分隔符,统计每句字符长度,若文档平均字符长度大于设置字符,则保留,反之则删除整篇文档。根据如下特征过滤: 待保留的平均句长。 词语特征过滤 词个数表示按照系统词库,对文档进行分词,分词后统计词的
提示词工程类 如何利用提示词提高大模型在难度较高推理任务中的准确率 如何让大模型按指定风格或格式回复 如何分析大模型输出错误回答的根因 为什么其他大模型适用的提示词在盘古大模型上效果不佳 如何判断任务场景应通过调整提示词还是场景微调解决
大模型概念类问题 如何对盘古大模型的安全性展开评估和防护 训练智能客服系统大模型需考虑哪些方面
数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据清洗。 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母,文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型,“待保留语种”之外的图文对数据将被过滤。
大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练,如何进行模型学习 如何调整训练参数,使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数,使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码
文本生成:根据标题、关键词、简介生成段落。 若您的无监督文档中含标题、关键词、简介等结构化信息,可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx,生成一段不少于xx个字的文本。”,将回答设置为符合要求的段落。 续写:根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息,可
计费FAQ 包年/包月和按需计费模式有什么区别 包年/包月和按需计费模式哪个更划算 同一资源是否同时支持包年/包月和按需计费两种模式 包年/包月和按需计费模式是否支持互相切换 资源到期了如何续费
知识库支持导入以下格式的本地文档: 文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分析结构化数据,包括:xlsx、xls、csv格式。 无论是文本文档、演示文稿,还是电子表格文件
样或计算。 例如,在英文中,有些组合单词会根据语义拆分,如overweight会被设计为2个token:“over”、“weight”。在中文中,有些汉字会根据语义被整合,如“等于”、“王者荣耀”。 在盘古大模型中,以N1系列模型为例,盘古1token≈0.75个英文单词,1token≈1
根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,大模型的应答可以无缝实时更新。(搜索+大模型解决方案) 父主题: 大模型概念类问题
提示词应用示例 应用提示词实现智能客服系统的意图匹配 应用提示词生成面试题目 父主题: 提示词写作实践
NLP大模型 文本对话 父主题: API
数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 将消息体加入后的请求如下所示,详细参数解释可参考文档API章节。
码,请参考本文档进行处理。 表1 错误码 错误码 错误信息 说明 建议解决方法 PANGU.0001 unknown error. 未知错误。 请联系服务技术支持协助解决。 PANGU.0010 parameter illegal. 请求参数错误。 请参考《API文档》输入正确的请求参数,并重新调试API。
海洋模型 创建推理作业 查询推理作业详情 父主题: 科学计算大模型
新增知识库中知识文档。单击右上角“继续上传”,可上传本地文档至当前知识库。 删除知识库中知识文档。在“知识文档”中单击操作列“删除”可删除当前知识文档。 获取知识库ID、删除知识库 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。
需要站在模型的角度理解相关任务的真实底层任务,并清晰描述任务要求。 例如,在文档问答任务中,任务本质不是生成,而是抽取任务,需要让模型“从文档中抽取出问题的答案,不能是主观的理解或解释,不能修改原文的任何符号、字词和格式”, 如果使用“请阅读上述文档,并生成以下问题答案”,“生成”一词不是很恰当,模型会引入一些外部知识。
气象/降水模型 创建推理作业 查询推理作业详情 父主题: 科学计算大模型
索出相关文档。 中控模块:对(经过改写后的)用户输入query,进行意图识别,判断是否是政务问答场景问题。如果是,则控制流程调用检索模块,并将检索文档传输给问答模块以辅助增强问答模块的能力;如果不是,则控制流程不调用检索模块。 检索模块:输入待检索的query,输出从文档检索库中
使用前必读 概述 调用说明 请求URI 基本概念