检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用模型内容审核 内容审核是文本的检测技术,可自动检测涉黄、涉暴、违规等内容,对用户向模型输入的内容、模型输出内容进行内容审核,帮助客户降低业务违规风险。 授权使用华为云内容审核,有效拦截大模型输入输出的有害信息,保障模型调用安全。 授权后,在调用盘古大模型能力时,模型的输入和输出将分别调用一次
示词比较页面。 图2 横向比较 比较候选提示词信息的差异性,可以单击开启“高亮展示差异点”。 图3 高亮差异点 下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。 图4 比较提示词的效果 父主题: 横向比较提示词效果
、分行异常等影响模型训练的问题。问题和答案需要匹配,且不能有空值。 文件类型为CSV:每一行代表一个问答对,确保每个问题和答案的数据都以逗号分隔,每行的数据完整且格式正确,文件中每个字段或列都应有适当的数据类型,例如文本、数值、日期等。每一段需要准确完整的语义,符合主流价值观,并
09:00的A01已预定成功 - 步骤3 答复:"已为您预定 A01会议室,时间为2024年5月8日早上8点到9点。 " 多轮执行增强 上述的例子中实际运行时只提供给模型多轮的对话,并没有提供工具执行的过程,有概率会出现模型不实际调用工具的情况。为了让大模型的效果更好,可以传入agentSession。
开启内容审核后,可以有效拦截大模型输入、输出的有害信息,保障模型调用安全。 NLP模型在流式输出时,同样支持内容审核。特别是模型生成超长内容时,通过实时审核模型生成的内容片段,可以有效降低首token的审核时延,同时确保用户看到的内容是经过严格审核的。 图3 大模型内容审核 购买内容审核
多轮对话:基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 图1 使用能力调测 表1 能力调测参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。 核采样 控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。 话题重复度配置 用于控制生成文本中的重复程度。 词汇重复度控制
李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言,适应新的生活方式。他开始学习宋朝的礼仪,尝试理解这个时代的文化。在宋朝,李晓遇到了许多有趣的人。他遇到了一位名叫赵敏拿来的小女孩,她聪明伶俐,让李晓对她产生了深深的喜爱。他还遇到了一位名叫王安石的大儒,他的智慧和博学让李晓深
控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说,设置较大的参数值可以生成较长和较完整的回复,但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复,但也可能导致生成不完整或不连贯的内容,请避免该值小于10,否则可能生成空值或极差的效果。
在“平台管理 > 资产管理 > 模型推理资产”中,单击操作列“扩容”执行扩容操作。 图4 扩容模型推理资产 不同类型的模型在部署时,做占用的推理资产数量存在差异,部署模型时所占的推理资产数量与模型类型关系如下。 表1 部署模型 模型类型 推理资产占有数量 盘古-NLP-N1 系列模型 部署1实例占用0
SearchTool()); } 静态工具和动态工具的注册方式相同,通过addTool接口进行注册。 通过setMaxIterations可以设置最大迭代次数,控制Agent子规划的最大迭代步数,防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-D
控制生成文本多样性和质量。 最大口令限制 用于控制聊天回复的长度和质量。一般来说,设置较大的参数值可以生成较长和较完整的回复,但也可能增加生成无关或重复内容的风险。较小的参数值可以生成较短和较简洁的回复,但也可能导致生成不完整或不连贯的内容,请避免该值小于10,否则可能生成空值或极差的效果。
输出路径默认为系统生成,您也可以自定义输出路径,当前支持覆盖和追加两种方式。 覆盖:清洗后数据覆盖和替换原有数据集内容。 追加:清洗后数据增加到原有数据集路径下。 任务信息填写完成后,单击“下一步”,搭建数据清洗流程。 可以使用预置的清洗模板完成对数据集的清洗,也可以基于算子搭建清洗流程。 图2 搭建数据清洗流程
慢,但会减少内存消耗,且可能提高泛化能力。因此,批大小需要根据数据集的规模和特点,以及模型的复杂度和性能进行调整。同时,批大小还与学习率相关。学习率是指每次更新参数时,沿着梯度方向移动的步长。一般来说,批大小和学习率成正比。如果批大小增大,学习率也相应增大;如果批大小减小,那么学习率也应减小。
上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。
上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询,通过向量和相似度的计算,实现对数据的语义理解和检索。
科技行业公司的最大利润和市值是多少? 科技行业公司的最小利润和市值是多少? 科技行业公司的中位利润和市值是多少? 科技行业公司的总利润和市值是多少? … 来源四:基于大模型的数据泛化。基于目标场任务的分析,通过人工标注部分数据样例,再基于大模型(比如盘古提供的任意一个规格的基础功能模
令牌(Token)是指模型处理和生成文本的基本单位。Token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成Token,然后根据模型的概率分布进行采样或者计算。 例如,在英文中,有些组合单词会根据语义拆分,如overweight会被设计为2个Token:“over”和“weight”
考察模型逻辑 虽然模型的思考过程是个黑盒,但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求,考察模型生成的逻辑,提升模型思维过程的可解释性。 对于模型答案的反问 如果模型给出了错误的答案,可以反问模型回答的逻辑,有时可以发现错误回答的根因,并基于此修正提示词。 在反问时
模型基于简单prompt的生成可能是多范围的各方向发散的,如果您需要进行范围约束,或加强模型对已有信息的理解,可以进行提示:“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”,或者可以说明已有的信息是什么领域的信息,比
训练数据集是用于模型训练的实际数据集。通常,通过创建一个新的数据集步骤,可以生成包含某个特定场景数据的数据集。例如,这个数据集可能只包含用于训练摘要提取功能的数据。然而,在实际模型训练中,通常需要结合多种任务类型的数据,而不仅限于单一场景的数据。因此,实际的训练会混合不同类型的数据。例如,为