检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于NL2JSON助力金融精细化运营 场景介绍 在金融场景中,客户日常业务依赖大量报表数据来支持精细化运营,但手工定制开发往往耗费大量人力。因此,希望借助大模型消除语义歧义性,识别用户查询意图,并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输
电商、金融等。 根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,大模型的应答可以无缝实时更新。(搜索+大模型解决方案) 父主题: 大模型概念类问题
打基础 先制定一个能够明确表达主题的提示词(若模型训练时包含相似任务,可参考模型训练使用的提示词),再由简至繁,逐步增加细节和说明。打好基础是后续提示词优化的前提,基础提示词生成效果差,优化只会事倍功半。 例如,文学创作类可以使用“请创作一个关于{故事主题}的故事”,邮件写作类可以使
此,数据的收集和处理是大模型训练中的关键环节。 盘古大模型套件平台通过提供数据获取、清洗、配比与管理等功能,确保构建高质量的训练数据。 父主题: 准备盘古大模型训练数据集
清洗数据集(可选) 清洗算子功能介绍 获取数据清洗模板 创建数据集清洗任务 父主题: 准备盘古大模型训练数据集
数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。 对不再使用的数据集可以单击“版本收回”撤销当前版本。 图1 发布数据集 父主题: 准备盘古大模型训练数据集
准备盘古大模型训练数据集 训练数据集创建流程 模型训练所需数据量与数据格式要求 创建一个新的数据集 检测数据集质量 清洗数据集(可选) 发布数据集 创建一个训练数据集
登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,进入“清洗模板”页面,在该页面查看预置的数据清洗模板。 图1 获取数据清洗模板 父主题: 清洗数据集(可选)
更多 > 检测”,重新校验数据集。历史存量未校验过的数据集也可以进行重新校验。 图2 重新校验数据集质量1 图3 重新校验数据集质量2 父主题: 准备盘古大模型训练数据集
且文本中不能存在异常字符、分行异常等影响模型训练的问题。问题和答案需要匹配,且不能有空值。 当前仅支持对NLP大模型进行模型评估操作。 父主题: 评估盘古大模型
填写数据集名称与描述,选择行业、语言和数据标签。 图9 填写基本信息 参数填选完成后,单击“立即创建”。 创建好的数据集将显示在数据集列表中。 父主题: 准备盘古大模型训练数据集
清洗任务完成后,可以单击“任务名称”,在任务详情页面,查看任务详情、评估指标、清洗明细及清洗流程图。 图6 启动清洗任务 图7 查看清洗任务详情 父主题: 清洗数据集(可选)
议采用微调的手段来解决: 目标任务依赖垂域背景知识:通用模型学习到的知识大部分都是来自互联网上的开源数据,如果目标任务本身属于某个领域(如金融、政务、法律、医疗、工业等),需要依赖很深的领域背景知识,那么通用模型可能无法满足这些要求,需要在该领域的数据集上进行微调,以增强模型的泛化能力。
100 100 100 53 D2 50 50 50 27 D3 200 200 100 53 训练数据集PD1 / / 1250 667 父主题: 准备盘古大模型训练数据集
"target":"唐代诗人李白为诗仙"},{"context":"他都有哪些代表作?","target":"李白的代表作有《望庐山瀑布》、《行路难》、《蜀道难》等"}] 父主题: 准备盘古大模型训练数据集
解析PDF文档。数据集文件类型为PDF时显示。 word文本读取 解析WORD文档,支持doc和docx格式。 html格式读取 解析HTML文件。 父主题: 清洗数据集(可选)
说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格和格式等。 撰写提示词时,可以设置提示词变量,即在提示词中通过添加占位符{{ }}标识,表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,将
前沿热点等...生成...”,或者可以说明已有的信息是什么领域的信息,比如“以上是金融领域的新闻”、“以上是一篇xx领域的xxx文档”。 例如,“结合金融领域相关知识,生成一份调研报告大纲,报告主题是区块链洞察”、“以上是某理财app用户反馈的问题,请提供解决方案。” 人设: 增
型,来获取满足您要求的数据。 人工标注:如果以上两种方案均无法满足您的要求,您也可以使用“数据标注”功能,采用人工标注方式来获取数据。 父主题: 典型训练问题和优化策略