检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编辑与删除操作。 创建图片类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建图片类数据集评估任务前,请参考加工图片类数据集,生成一个“加工数据集”。 创建图片类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
的运行效果。例如:prompt可以设计为:请将以下中文句子翻译成英文:“我喜欢吃苹果”。通过这种明确的指令,更容易生成准确的翻译结果。 运用提示词技巧:可参考提示词写作实践进行Prompt写作。 父主题: 低代码构建多语言文本翻译工作流
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。 用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后,将生成“原始数据集”被平台统一管理,用于后续加工或发布操作。 创建导入任务 创建导入任务前,请先按照数据集格式要求提前准备数据。 平台支持使用O
概述 盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 表1 API清单
步骤2:配置Prompt 创建应用后,需要撰写提示词(Prompt),为Agent设定人设、目标、核心技能、执行步骤。 应用会根据盘古NLP大模型对提示词的理解,来选择使用插件、工作流或知识库,响应用户问题。因此,一个好的提示词可以让模型更好地理解并执行任务,应用效果与提示词息息相关。 配置Prompt
创建一个应用。 Agent开发平台应用场景 当前,基于Agent开发平台可以构建两种类型的应用,一种是针对文本生成、文本检索的知识型Agent,如搜索问答助手、代码生成助手等,执行主体在大模型;另一种是针对复杂工作流场景的流程型Agent,如金融分析助手、网络检测助手等。 知识型
采用规则将无监督数据构建为有监督数据的常用方法 规则场景 说明 文本生成:根据标题、关键词、简介生成段落。 若您的无监督文档中含标题、关键词、简介等结构化信息,可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx,生成一段不少于xx个字的文本。”,将回答设置为符合要求的段落。
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。
据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针对特定区域,旨在提供完整、一致且高精度的气象数据。 再分析数据为二进制格式,具体格式要求详见表1。
“核采样”参数为1的生成结果1 图3 “核采样”参数为1的生成结果2 将“核采样”参数调小至0.1,保持其他参数不变,单击“重新生成”,再单击“重新生成”,可以观察到模型前后两次回复内容的多样性降低。 图4 “核采样”参数为0.1的生成结果1 图5 “核采样”参数为0.1的生成结果2 预置
为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或
型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作: 表2 盘古科学计算大模型支持的操作 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-AI4S-Ocean_24h-20241130
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制
微调阶段:基于预训练的成果,微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并
而大模型则能够理解问题的上下文,结合多个搜索结果生成简洁的答案,或提供更详细的解释,从而进一步改善用户的搜索体验。 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 默认值:0 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。
更加高效地满足用户需求。 通过插件接入,用户可以为应用赋予大模型本身不具备的能力。插件提供丰富的外部服务接口,当任务执行时,模型会根据提示词感知适用的插件,并自动调用它们,从外部服务中获取结果并返回。这样的设计使得Agent能够智能处理复杂任务,甚至跨领域解决问题,实现对复杂问题的自动化处理。
在完成数据合成后,若无需使用数据标注功能,可直接在“数据合成”页面单击操作列“生成”,生成加工数据集。 加工数据集列表可在“数据工程 > 数据加工 > 加工数据集”中查看。 创建自定义数据合成指令 平台支持用户创建自定义数据合成指令。 本章节将以“生成主题散文”的场景为例,详细介绍自定义数据合成指令的配置步骤。
页面将返回至“数据配比”页面,配比任务运行成功后,状态将显示为“运行成功”。 单击操作列“生成”,将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”,其格式为“默认格式”。 父主题: 发布文本类数据集
则文本将被引导到大模型节点。大模型节点基于预训练的盘古NLP大模型生成响应,从而实现自然语言理解和生成。完成后,结果传递给结束节点。 结束节点:工作流的终结节点,负责输出最终结果。无论是翻译结果还是大模型生成的回答,都会通过该节点输出给用户。 父主题: 低代码构建多语言文本翻译工作流
洗算子以及支持用户创建自定义算子实现个性化的数据清洗诉求。确保生成高质量的训练数据以满足业务需求和模型训练的要求。用户还可以灵活地调整算子编排顺序以及自定义清洗模板,有效提升数据清洗效率并支持大规模数据处理,确保生成的数据集符合训练的标准。 数据合成:平台支持利用预置或自定义的数