检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么其他大模型适用的提示词在盘古大模型上效果不佳 提示词与训练数据的相似度关系。 提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时,模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据,逐渐建立起对特定模式、
训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制。在训练和推理过程中,通过数据脱敏、隐私计算等技术手段识别并保护敏感数据,有效防止隐私泄露,保障个人隐私数据安全。 内容安全:通过预训练和强化学习价值观提示(prompt),构建正向的意识形态。通
情况调整训练参数,帮助模型更好学习。 Prompt设置:请检查您使用的Prompt,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的PROMPT,才能发挥出模型的最佳效果。 模型规格:理论上模型的参数规模越大,模型能学到的知识就越多,能学会的知识就更难,若目标任务本身
提示词写作常用方法论 打基础 先制定一个能够明确表达主题的提示词(若模型训练时包含相似任务,可参考模型训练使用的提示词),再由简至繁,逐步增加细节和说明。打好基础是后续提示词优化的前提,基础提示词生成效果差,优化只会事倍功半。 例如,文学创作类可以使用“请创作一个关于{故事主题}
为什么微调后的盘古大模型的回答中会出现乱码? 更多 技术专题 技术、观点、课程专题呈现 云图说 通过云图说,带您了解华为云 OCR基础课程 介绍文字识别服务的产品、技术指导和使用指南 OCR系列介绍 文字识别服务在计算机视觉的重要性、基本技术和最新进展 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦!
练和预测需要使用特殊的Prompt,需要注意保持一致。 中控模块:盘古-NLP-N1-基础功能模型 说明:该模块需要实现意图识别分类的功能。当输入意图识别模块的是政务问题时,控制下游调用检索模块;当输入不需要调用检索的非政务问题时,不调用检索,直接模型回答问题。实现方法为通过微调获得一个具有二分类能力的模型。
推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考: 表1 推理参数的建议和说明 推理参数 范围 建议值 说明
从内容(吸引人,清晰度)、构图(目标物位置良好)、颜色(有活力,令人愉悦)、光线(光线明显有对比度)、轨迹(连续、稳定)等维度评价视频美感得分。分值范围(0, 1),数值越高美感越好,评分>0.95可视为视频基础质量较高的视频。 水印识别 识别视频中是否包含水印。 字幕识别 识别视频中是否包含字幕。
指的是噪音的频率,在生成Perlin噪音时,可以将多个不同频率的噪音叠加在一起,以增加噪音的复杂度和细节。每个频率的噪音称为一个octave,而叠加的octave数越多,噪音的复杂度也就越高。 ensemble_noise_perlin_y 用于选择集合预报的Perlin加噪y纬度方向的尺度。
识。 例如,在构造泛化问题的任务中,需要基于原问题改写为相同含义的问题,而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时,模型会认为实体/关键词/场景一致则是相似(在这个例子里实体为手机银行),而不是任务需要的语义级别的相同含义,所以输出内容会发散。
在提示词撰写区域输入提示词文本,可以插入若干个变量,变量需要使用占位符{{ }}标识。 图2 撰写提示词 撰写完成后,单击“确定”,平台会自动识别插入的变量。提示词中识别的变量将展示在变量定义区域。 变量名称可以进行修改,如添加备注信息以便更好理解变量的作用。 图3 变量定义 变量定义区域展示的
景复杂或专业,则需要上万条数据。 数据质量要求: 保证数据的分布和目标需要与实际场景匹配。 保证数据的覆盖度:数据需要尽可能覆盖产品所提供的功能;数据需要覆盖难易度、长短度,包含参数丰富等场景;数据在长短、扁平与深层嵌套、对接客户api接口数量上全覆盖。 数据中需要提供JSON的
的数据集能够显著提升模型的准确性,并增强模型在实际应用中的可靠性与稳定性。因此,数据评估是数据工程中不可或缺的一环,帮助用户在数据准备阶段识别并解决数据中的问题,为后续的模型训练和优化奠定坚实基础。 ModelArts Studio大模型开发平台提供了全面的数据集质量评估工具,能
图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母,文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型,“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值,如果超过则去重。
词个数。 平均词长度。 语种过滤 通过语种识别模型得到文档的语言类型,筛选所需语种的文档。 段落结尾不完整句子过滤 删除文本中不完整段落和句子。 广告数据过滤 删除文本中包含广告数据的句子。 全局文本去重 检测并去除数据中重复或高度相似的文本,防止模型过拟合或泛化性降低。 父主题:
单击“确定”,完成参数配置。 连接大模型组件和其他组件。 配置意图识别组件 意图识别组件用于根据用户的输入进行分类并导向后续不同的处理流程。 意图识别组件一般位于工作流前置位置。在对用户的输入进行意图识别时,意图识别组件会通过大模型推理,匹配用户输入与开发者预先定义的描述类别的关键字,并根据匹配结果流向对应处理流程。
occluded:必选字段,取值0或1,表示标注内容是否被遮挡(0表示未遮挡、1表示遮挡)。 difficult:必选字段,取值0或1,表示标注目标是否难以识别(0表示容易识别、1表示难易识别)。 confidence:可选字段,标注目标的置信度,取值范围0-1之间,越接近1,表示标注越可信。 bndbox:必选字段,标注框的类型,可选值请参见表5。
指的是噪音的频率,在生成Perlin噪音时,可以将多个不同频率的噪音叠加在一起,以增加噪音的复杂度和细节。每个频率的噪音称为一个octave,而叠加的octave数越多,噪音的复杂度也就越高。 取值范围:[1, 10)。 ensemble_noise_perlin_x 否 Double
问题二:模型生成的文案中重复讨论一个相同的话题。 解决方案:对于这种情况,可以尝试修改推理参数。例如,降低“话题重复度控制”参数的值。若调整推理参数不生效,则检查数据质量,确认数据中不存在重复数据和高度相似数据。 父主题: 从基模型训练出行业大模型
基于上述功能,平台还提供了灵活的工作流设计功能,支持用户编写少量代码来构建逻辑复杂、稳定性要求高的Agent应用。通过拖拉拽方式,开发者可以组合各种组件(如LLM、代码、意图识别等),快速搭建工作流,实现更高效的应用开发。 父主题: 产品功能