检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“创建知识库”页面,填写知识库名称与描述,单击图片可上传知识库图标,单击“下一步”。 在“文件类型”页面,选择文件类型。 导入文本文档数据。支持上传txt、doc、docx、pdf、ppt、pptx格式的文本文档,要求单个文件不超过10M。 导入表格数据。支持上传xlsx、xls、csv格式的表格数据,要求单个文件不超过10M。
jsonl、csv 图片类 仅图片 jpg、jpeg、png、bmp、tar包 图片+Caption 图片格式支持:jpg、jpeg、png、bmp,所有图片需保存为tar包。 Caption格式支持:jsonl 图片+QA对 图片格式支持:jpg、jpeg、png、bmp,所有图片需保存为tar包。
识别视频中是否包含水印。 字幕识别 识别视频中是否包含字幕。 Logo识别 识别视频中是否包含Logo。 视频黑边识别 识别视频中是否包含黑边。 密集文字识别 识别视频中是否包含密集文字,达到密集文字面积占比的视频则为含密集文字视频,一般裁剪面积占比≥7%为密集文字视频。 父主题: 数据集清洗算子介绍
Studio大模型开发平台支持将文本类、图片类数据集发布为两种格式: 默认格式:适用于广泛的数据使用场景,满足大多数模型训练的标准需求。 盘古格式:专为盘古大模型训练设计的格式,确保数据集在盘古模型训练中的兼容性和一致性。 除文本类、图片类数据集外,其余类型的数据集当前仅支持发布为默认格式。 父主题: 发布数据集
如何利用提示词提高大模型在难度较高推理任务中的准确率? 如何让大模型按指定风格或格式回复? 如何分析大模型输出错误回答的根因? 为什么其他大模型适用的提示词在盘古大模型上效果不佳? 更多 技术专题 技术、观点、课程专题呈现 云图说 通过云图说,带您了解华为云 OCR基础课程 介绍文字识别服务的产品、技术指导和使用指南
如何让大模型按指定风格或格式回复 要让模型按照特定风格回复,可以提供领域和角色信息(如目标受众或特定场景),帮助模型理解并捕捉预期风格。 可以在提示词中,明确描述回复风格的要求。例如,若希望模型回答更精炼,可以提示: 你的回复“需要简洁精炼”、“仅包括最重要的信息”或“专注于主要结论”。
批量评估提示词效果前,需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符,用于根据不同的场景或用户输入生成不同的内容。其中,变量名称可以是任意的文字,用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。 数据行数不小于10行,不大于50行。
而引发的问题。 流通数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。 平台支持发布的数据集格式为默认格式、盘古格式。 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 父主题:
他特定的指令任务数据等类型。 构造特定Prompt格式的数据。通过编写代码对数据进行处理,生成所需的带有Prompt格式的数据,保存成JSON文件。 低质量SFT数据过滤。包括:对回答过短的问答对、回答风格不适宜的问答对进行过滤。同时,针对利用大模型从原始文档中抽取出来的问答对数
据集”的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。 配比文本类数据集 流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。 平台支持发布的数据集格式为默认格式、盘古格式。 默认格式:平台默认的格式。
意图的准确性。本实践的意图识别节点包含文本翻译意图和其他意图。 文本翻译意图:当用户请求翻译时,意图识别节点的关键任务是准确判断用户翻译的需求,执行翻译节点分支,并给出正确的翻译结果。 如图1,当用户输入翻译类问题时,“意图识别”节点对用户的意图分类为“文本翻译”,此时工作流将运
Agent开发平台的工作流由多个节点构成,节点是组成工作流的基本单元。平台支持多种节点,包括开始、结束、大模型、意图识别、提问器、插件、判断、代码和消息节点。 创建工作流时,每个节点需要配置不同的参数,如输入和输出参数等,开发者可通过拖、拉、拽可视化编排更多的节点,实现复杂业务流程的编排,从而快速构建应用。
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑: 数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、
数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。 平台支持发布的数据集格式为默认格式、盘古格式。 默认格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 NLP大模型开发流程 ModelArts
选择数据集,单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对接盘古大模型或三方大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式: 默认格式:数据工程功能支持的原始格式。 盘古格式:使用盘古大模型训练时所需要使用的数据格式。 如果
101097 意图识别调用大模型的prompt不符合模型输入的规范。 检查输入的prompt格式,消息的角色和内容。 101096 意图识别调用大模型失败。 检查消息的格式,内容以及大模型服务是否正常。 101095 意图识别用户query输入/引用解析失败。 检查用户query格式和内容。
意图识别节点通过大模型推理分析用户输入,匹配预定义的意图关键字类别,并根据识别结果引导至相应的处理流程,通常位于工作流的前置位置。 意图识别节点为可选节点,若无需配置,可跳过该步骤。 意图识别节点配置步骤如下: 拖动左侧“意图识别”节点至画布中,单击该节点以打开节点配置页面。 参照表3,完成意图识别节点的配置。 表3
语,en为英语,vi为越南语,zh为中文。请注意:不要使用任何工具、不用理会问题的具体含义,并保证你的输出仅有json格式的结果数据,以保证返回结果可以被json.dumps直接解析。你的返回格式格式示例为:{\"text\":\"a\",\"from\":\"b \",\"to\":\"c\"}。
之进行互动。 知识库支持导入以下格式的本地文档: 文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分析结构化数据,包括:xlsx、xls、csv格式。 无论是文本文档、演示文稿,还
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格、格式等。 撰写提示词时,可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,将提示词设