云服务器内容精选

华为云首页用户手册

盘古大模型 PANGULARGEMODELS

盘古大模型 PANGULARGEMODELS-开通盘古大模型服务

开通盘古大模型服务盘古大模型具备文本补全和多轮对话能力，用户在完成盘古大模型套件的订购操作后，需要开通大模型服务，才可以调用模型，实现与模型对话问答。登录盘古大模型套件平台。在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。文本补全：提供单轮文本能力，常用于文本生成、文本摘要、闭卷问答等任务。多轮对话：提供多轮文本能力，常用于多轮对话、聊天任务。图1 服务管理图2 申请开通服务您可按照需要选择是否开启内容审核。开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。图3 大模型内容审核购买内容审核套餐包时，如果使用“文本补全”和“多轮对话”功能，需要选择“ 文本内容审核 ”套餐。父主题：准备工作

盘古大模型 PANGULARGEMODELS 准备工作
盘古大模型 PANGULARGEMODELS-边缘部署准备工作

边缘部署准备工作本指南的边缘部署操作以largemodel集群为例，示例集群信息如下表。表1 示例集群信息集群名节点类型节点名规格备注 largemodel controller ecs-edge-30037210 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge.4镜像 EulerOS 2.9 64bit with ARM for Tenant 20230728 base 2.9.15 公网IP：100.85.220.207 root密码： CPU架构：aarch64（登录设备，执行arch命令查看） worker bms-pangu30037210 CPU:Kunpeng 920(4*48Core@2.6GHz) 内存：24*64GB DDR4 RAM (GB) 本地磁盘：3*7.68TB NVMe SSD 扩展配置：2*100GE+8*200GE 类型：physical.kat2e.48xlarge.8.313t.ei.pod101 euler2.10_arm_sdi3_1980b_hc_sdi5_b080_20230831v2 公网IP：100.85.216.151 root密码： CPU架构：aarch64（登录设备，执行arch命令查看）依赖包下载。 docker下载：https://download.docker.com/linux/static/stable 选择对应cpu架构下载，docker版本选在19.0.3+。 K3S下载：https://github.com/k3s-io/k3s/releases/tag/v1.21.12%2Bk3s1 按照对应cpu架构下载二进制文件以及air-gap镜像。 npu驱动和固件安装。执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息，说明驱动已安装。详情请参见昇腾官方文档。 hccn too网卡配置。执行如下命令，查看是否有回显网卡信息。如果有，则说明网卡已经配置，否则继续操作下面步骤。 cat /etc/hccn.conf 执行如下命令，查看npu卡数。 npu-smi info 执行如下命令（地址自行配置）： hccn_tool -i 0 -ip -s address 192.168.0.230 netmask 255.255.255.0 hccn_tool -i 1 -ip -s address 192.168.0.231 netmask 255.255.255.0 hccn_tool -i 2 -ip -s address 192.168.0.232 netmask 255.255.255.0 hccn_tool -i 3 -ip -s address 192.168.0.233 netmask 255.255.255.0 hccn_tool -i 4 -ip -s address 192.168.0.234 netmask 255.255.255.0 hccn_tool -i 5 -ip -s address 192.168.0.235 netmask 255.255.255.0 hccn_tool -i 6 -ip -s address 192.168.0.236 netmask 255.255.255.0 hccn_tool -i 7 -ip -s address 192.168.0.237 netmask 255.255.255.0 执行命令cat /etc/hccn.conf，确保有如下回显网卡信息，则配置完成。配置NFS网盘服务。大模型采用镜像+模型分开的方式部署时，需要有一个节点来提供NFS网盘服务，创建部署时通过NFS挂载的方式访问模型。父主题：部署为边缘服务

盘古大模型 PANGULARGEMODELS 部署为边缘服务
盘古大模型 PANGULARGEMODELS-打造短视频营销文案创作助手:训练模型

训练模型自监督训练：不涉及有监督微调：本场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练：表2 微调核心参数设置训练参数设置值数据批量大小（batch_size） 8 训练轮数（epoch） 4 学习率（learning_rate） 7.5e-05 学习率衰减比率（learning_rate_decay_ratio） 0.067 热身比例（warmup） 0.01

盘古大模型 PANGULARGEMODELS
盘古大模型 PANGULARGEMODELS-打造短视频营销文案创作助手:评估和优化模型

评估和优化模型模型评估：您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线。本场景的一个Loss曲线示例如下：图1 Loss曲线通过观察，该Loss曲线随着迭代步数的增加呈下降趋势直至稳定，证明整个训练状态是正常的。若Loss曲线呈现轻微阶梯式下降，为正常现象。模型持续优化：本场景采用了下表中的推理参数进行解码，您可以在平台部署后参考如下参数调试：表3 推理核心参数设置推理参数设置值最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以采用人工评测的方案来评估模型效果。若评测过程中出现如下问题，可以参考解决方案进行优化：问题一：模型答案没有按照Prompt要求回答。例如，要求文案在300字以内，但是模型回答字数仍然超出300字。解决方案：在数据质量要求中提到要求训练数据的输出（target字段）需要符合业务场景需求。因此，针对该问题，需要严格控制数据质量。若输入（context字段）要求文案300字以内，则输出必须要满足300字以内。问题二：模型生成的文案中重复讨论一个相同的话题。解决方案：对于这种情况，可以尝试修改推理参数。例如，降低“话题重复度控制”参数的值。若调整推理参数不生效，则检查数据质量，确认数据中不存在重复数据和高度相似数据。

盘古大模型 PANGULARGEMODELS
盘古大模型 PANGULARGEMODELS-打造短视频营销文案创作助手:场景介绍

场景介绍随着互联网的发展，短视频已成为了日常生活中不可或缺的一部分，凭借其独特的形式和丰富的内容吸引了大量流量，并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案，以提升营销效果和效率。在这种场景下，用户只需提供一些基本信息，大模型就能生成需求的文案，从而大大提高文案的质量和效率。除了短视频风格的口播文案，营销文案还可以根据需求生成不同风格的文案，如小红书风格、知乎风格，或爆款标题等。

盘古大模型 PANGULARGEMODELS
盘古大模型 PANGULARGEMODELS-打造短视频营销文案创作助手:准备训练数据

准备训练数据本场景不涉及自监督训练，无需准备自监督数据。微调数据来源：来源一：真实业务场景数据。来源二：基于大模型的数据泛化。基于目标场任务的分析，通过人工标注部分数据样例，然后利用大模型（如盘古提供的任意规格的基础功能模型）采用self-instruct等方式，泛化出更多的业务场景数据。方法一：在大模型输入的Prompt中包含“人设赋予”、“任务描述”、“任务具体要求”和“输出格式要求”等部分后，模型通常能够生成质量较高的数据。示例如下：大模型输入：你是一名短视频的知名带货博主，你的日常工作在短视频平台上进行各类产品的带货直播。你很擅长根据一段简要的产品介绍，创作出高质量的带货口播。请根据如下产品介绍，生成一篇字数不超过200个字的高质量带货口播，产品介绍如下： ``` %s ``` 生成的内容必须满足以下要求： 1.生成内容的字数要求为200个字左右； 2.生成的内容必须生动有趣、丰富多样； 3.生成内容的语言风格必须口语化； 4.生成的内容开头必须能足够引起观众的兴趣，比如可以采取对目标观众反问、对比等方式； 5.生成的内容结尾必须要引导观众购买； 6.生成的内容必须紧扣产品本身，突出产品的特点，不能出现不相关的内容； 7.生成的内容必须完整，必须涵盖产品介绍中的每个关键点，不能丢失任何有价值的细节； 8.生成的内容必须符合客观事实，不能存在事实性错误； 9.生成的内容必须语言通顺； 10.生成的内容中不能出现“带货口播”等这一类字样；输出格式：口播如下： xxx 方法二：产品介绍可以来源于真实的产品信息，也可以通过in-context-learning方式生成。示例如下：大模型输入：你是一个广告策划，你的工作是为不同的产品写宣传文案。以下是一些优秀的宣传文案样例，请参考这些样例，为产品：“%s”编写一段宣传文案。宣传文案样例1： XXXXX 宣传文案样例2： YYYY 注意：宣传文案中需要包含产品名称；需要突出产品特性；不超过40个字。输出格式：宣传文案：xxx 微调数据要求：数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。示例如下： {"context":"轻便折叠户外椅，舒适随行\n请根据以上的内容和要求扩写一篇带货口播文案，注意：1.开头引起观众的兴趣2.扩写要保留以上内容全部信息，结合观众需求突出商品特点3.在结尾引导观众行动。要求口语化。需要300字。", "target": "嗨！亲爱的朋友们，你们是不是也常常遇到户外活动时找不到合适的座椅，坐地上又硬又不舒服？那么，我今天要介绍的产品就能解决你的困扰！它就是轻便折叠户外椅，让你的户外时光更加舒适随行！\n\n这款户外椅不仅轻巧便携，折叠起来只有一只手的大小，非常方便携带！无论是野餐、露营还是旅行，它都能轻松满足你的需要，为你的舒适提供保障！\n\n它采用高质量的材料制造而成，坚固耐用，可以承受220磅的重量，稳如泰山，安全可靠。而且，它的面料柔软舒适，采用透气网布设计，不仅排汗透气，而且可根据你的身体曲线自主调节，提供全方位的支撑和舒适度。\n\n亲爱的朋友们，快来选购这款轻便折叠户外椅，让你的户外生活更加舒适、随心随行！赶快单击下方链接，实现你的户外梦想！"} {"context":"产品：毛绒玩具\n特点：柔软可爱，陪伴成长，给孩子无限温暖的拥抱。\n请根据以上的内容和要求扩写一篇带货口播文案，注意：1.开头引起观众的兴趣2.扩写要保留以上内容全部信息，结合观众需求突出商品特点3.在结尾引导观众行动。要求口语化。需要300字。", "target": "小伙伴们，我来给你们介绍一款超可爱的毛绒玩具！它柔软可爱，真的是陪伴成长、给孩子无限温暖的拥抱！\n\n它是宝宝的小伙伴，不离不弃的陪伴着他们的成长。而且这款毛绒玩每一个细节都呈现出了无限的童真和天真，真的是太可爱了！\n\n除了可爱外，这款毛绒玩具还有一个很重要的功能，它能给孩子带来无限温暖的拥抱。当孩子感到孤独或者失落时，它就像一个亲密的好友一样，安慰着他们的心灵。就像你给亲人一个紧紧的拥抱，让他们感受到你的爱一样，这款毛绒玩具也能给孩子带来同样的温暖和关怀。\n\n所以，我相信这款毛绒玩具一定能成为你宝贝的最爱，给他们带来无尽的欢乐和温暖。现在就单击下方链接，购买一只给宝贝一个最温暖的拥抱吧！"} 数据量级要求：本场景使用了5000条数据进行微调。说明：类似场景需要的微调数据量视具体情况而定。从经验上来说，如果实际场景相对单一，比如只需要构建短视频口播文案生成的场景，则使用5000条数据即可；如果场景中涵盖多个细分场景，比如短视频口播生成、小红书风格文案生成等等，则每个子场景各需要准备至少5000条数据。数据质量要求：保证微调数据中的输入（context字段）不重复，否则会造成模型效果不佳。保证微调数据内容干净，不包含异常字符。保证输出（target字段）内容符合业务场景需求。例如，短视频口播场景要求文风可以引起观众兴趣、不丢失产品特点且可以引导观众购买。微调数据清洗：下表中列举了本场景常见的数据质量问题以及相应的清洗策略，供您参考：表1 微调数据清洗步骤数据问题清洗步骤与手段清洗前清洗后问题一：数据中存在超链接、异常符号等。删除数据中的异常字符。 {"context":"轻便折叠户外椅，舒适随行\n请根据以上的内容和要求扩写一篇带货口播文案，注意：1.开头引起观众的兴趣2.扩写要保留以上内容全部信息，结合观众需求突出商品特点3.在结尾引导观众行动。要求口语化。需要300字。", "target": " ????嗨！亲爱的朋友们，你们是不是也常常遇到户外活动时找不到合适的座椅，坐地上又硬又不舒服？那么，我今天要介绍的产品就能解决你的困扰！它就是轻便折叠户外椅，让你的户外时光更加舒适随行！\n\n这款户外椅不仅轻巧便携，折叠起来只有一只手的大小，非常方便携带！无论是野餐、露营还是旅行，它都能轻松满足你的需要，为你的舒适提供保障！\n\n它采用高质量的材料制造而成，坚固耐用，可以承受220磅的重量，稳如泰山，安全可靠。而且，它的面料柔软舒适，采用透气网布设计，不仅排汗透气，而且可根据你的身体曲线自主调节，提供全方位的支撑和舒适度。\n\n亲爱的朋友们，快来选购这款轻便折叠户外椅，让你的户外生活更加舒适、随心随行！赶快单击下方链接，实现你的户外梦想！"} {"context":"轻便折叠户外椅，舒适随行\n请根据以上的内容和要求扩写一篇带货口播文案，注意：1.开头引起观众的兴趣2.扩写要保留以上内容全部信息，结合观众需求突出商品特点3.在结尾引导观众行动。要求口语化。需要300字。", "target": "嗨！亲爱的朋友们，你们是不是也常常遇到户外活动时找不到合适的座椅，坐地上又硬又不舒服？那么，我今天要介绍的产品就能解决你的困扰！它就是轻便折叠户外椅，让你的户外时光更加舒适随行！\n\n这款户外椅不仅轻巧便携，折叠起来只有一只手的大小，非常方便携带！无论是野餐、露营还是旅行，它都能轻松满足你的需要，为你的舒适提供保障！\n\n它采用高质量的材料制造而成，坚固耐用，可以承受220磅的重量，稳如泰山，安全可靠。而且，它的面料柔软舒适，采用透气网布设计，不仅排汗透气，而且可根据你的身体曲线自主调节，提供全方位的支撑和舒适度。\n\n亲爱的朋友们，快来选购这款轻便折叠户外椅，让你的户外生活更加舒适、随心随行！赶快单击下方链接，实现你的户外梦想！"} 问题二：存在未转义的字符。进行转义。 {"context":"舒适随行的"骆驼牌"轻便折叠户外椅，\n请根据以上的内容和要求扩写一篇带货口播文案，注意：1.开头引起观众的兴趣2.扩写要保留以上内容全部信息，结合观众需求突出商品特点3.在结尾引导观众行动。要求口语化。需要300字。", "target": …} {"context":"舒适随行的\"骆驼牌\"轻便折叠户外椅\n请根据以上的内容和要求扩写一篇带货口播文案，注意：1.开头引起观众的兴趣2.扩写要保留以上内容全部信息，结合观众需求突出商品特点3.在结尾引导观众行动。要求口语化。需要300字。", "target": …} 问题三：存在重复数据。删除重复数据。略略

盘古大模型 PANGULARGEMODELS
盘古大模型 PANGULARGEMODELS-打造政务智能问答助手:评估和优化模型

评估和优化模型模型评估：您可以从平台的训练日志中获取到每一步的Loss，并绘制成Loss曲线。本场景的一个Loss曲线示例如下：图2 query改写/中控模型微调时的Loss曲线图3 问答模型微调时的Loss曲线通过观察，Loss曲线随着迭代步数的增加呈下降趋势直至稳定，证明整个训练状态是正常的。模型持续优化：本场景采用了下表中的推理参数进行解码，您可以在平台中参考如下参数调试：表3 问答模型的推理核心参数设置推理参数设置值最大Token限制（max_token） 4096 温度（temperature） 0.9 核采样（top_p） 0.4 话题重复度控制（presence_penalty） 0.3 部署推理服务后，可以采用人工评测的方案来评估模型效果。以下列出该场景中可能遇到的常见问题，评测过程中如出现这些问题，可参考相应的解决方案：问题一：问答场景问题，针对文档库中的内容可以回答的问题，模型的最终回答不符合预期。解决方案：首先进行问题定位，确定是未检索到相关文档，还是检索到相关内容但模型理解错误。如果未检索到相关文档，则需从入库内容优化、提高检索精度、过滤无关内容等方面进行检索优化。如果检索内容正确，但模型回复不符合预期，则应考虑优化微调数据并重新训练模型。问题二：针对特定问题，问答场景模型可以较好地回复内容，但对闲聊场景，模型的回复很差。解决方案：这里有可能有两方面的原因：一方面是问答模块对应的模型的通用能力较差，另一方面是中控模块执行判断是否需要调用检索出错，检索文档混入导致模型受到干扰。针对前者，说明模型的通用能力退化，需要在微调模型时适当混入一些通用数据。

盘古大模型 PANGULARGEMODELS 从基模型训练出行业大模型
盘古大模型 PANGULARGEMODELS-打造政务智能问答助手:准备训练数据

准备训练数据本场景不涉及自监督训练，无需准备自监督数据。微调数据来源：需要针对涉及的模块分别构造相关的微调数据。 query改写模块来源：互联网开源数据集问答模块来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。微调数据要求：数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。示例如下： query改写模块：准备对应省略补全任务的数据和对应指代消解任务的数据。 {"context": ["你对李健怎么看 | 音乐诗人李健。请根据以上背景补全以下问题：喜欢么"], "target": "喜欢李健么"} {"context": ["孩子就是不写作业 | 还是写作业吧。请根据以上背景补全以下问题：你有什么办法让他写作业吗"], "target": "你有什么办法让孩子写作业吗"} 中控模块：对于中控模块，可以首先尝试使用基础功能模型基于prompt来进行相关中控逻辑的判断，一般情况下能够满足绝大部分场景的需求。如果针对特别细分的垂域场景，且需要中控逻辑能够取得接近100%准确率的效果，则可以按照需求可以准备对应的中控分类数据。以简单的二分类场景为例，但中控逻辑可以非常复杂，可扩展到多场景分类。二分类的数据示例如下： {"context ": ["用微波炉热汤要盖盖子吗？判断以上问题是否需要调用检索，请回答“是”或”否“"], "target": "否"} {"context ": ["福田区支持哪些组织开展退役军人教育培训工作？判断以上问题是否需要调用检索，请回答“是”或“否”"], "target ": "是"} 问答模块：准备单轮问答和检索增强的数据集。 {"context": ["请问福田英才荟卫生系统人才与福田英才荟高层次人才是不同的部门受理么？"], "target": "您好，福田英才荟卫生系统人才奖励管理办法只针对福田区属医疗卫生事业单位人员，其他高层次人才申领奖励建议咨询区人力资源局。"} {"context": ["请阅读以下文章回答问题，如果问题与文章不相关，则无需参考文章内容，直接回答问题即可。文章：“在福田区社会建设专项资金的使用情况中，如何防止出现损失、浪费和管理不善的情况？在社会建设专项资金的使用情况中，应规范操作，加强管理，及时纠正和化解建设过程中的解释、调取和留置问题，严防管理漏洞，保证应用资金的安全性和真实性。同时，应建立完善的监管机制，严格管理，加强监督，加强专项资金使用情况的评估，加强对建设过程的监管和评估，节约专项资金，杜绝资源的浪费和管理不善的情况。在使用福田区社会建设专项资金中，如何防止遭到挤占、占用和挪用专项资金的情况？在使用福田区社会建设专项资金的过程中，应合法合规，按照相关规定经审批后使用并保存票据。同时，应实行专款专用、监管有力的制度，并加强对专项资金的监督和管理。严格控制专项资金的流向和使用范围，严禁有过度功能的行为，坚决杜绝虚假、虚报和恶意投资，建立完善的监督管理制度，加强随时的监督和核查，确保专项资金使用的规范化、严格化、透明化、便结算。”问题：在福田区社会建设专项资金的使用过程中，如何避免因管理不善导致专项资金重大损失浪费？"], "target": "福田区社会建设专项资金使用过程中，如何保障专项资金的使用事项为重点。管理人员应建立责任所在意识，制定科学规范的使用办法，强化使用过程的监测和评估。必须严格按照项目运作方案来确定资金使用范围，确保所有使用资金都是经过规范操作和审批的，必须严格按照使用资金的监管属性，统一管理各类资金，精细、规范、稳健。在内部管理上，应加强信息通报、关联跨部门协调机制，提高管理精神与管理水平，优化执行方法，简化管理程序，创造良好的运作环境，以推进社会建设事业的合理发展。"} 数据量级要求：综合三个模块，本场景共使用了100000量级的数据进行微调。其中，query改写模块使用了4万量级的sft数据，问答模块使用了6万量级的sft数据，包括单轮问答、多轮问答。中控模块使用了1万量级的sft数据。针对不同的任务类型，所需数据量会所有不同。从经验上来说，对于简单的任务，数据量的要求会少一点，如3000到5000条；对于复杂的任务，需要的数据条数更大一些，如2万~10万条。在构造指令微调数据的成本可以接受的情况下，至少准备1万条以上指令微调数据为宜。数据质量要求：保证微调数据的正确性，多样性，复杂性。保证微调数据能覆盖对应任务所涉及的所有场景。微调数据清洗：以下是该场景中实际使用的数据清洗策略，供您参考：原始文本处理。基于爬虫、数据处理平台批量处理收集到的原始数据，需要将文件统一转换成纯文本的txt文件，对错误格式数据进行删除。构建微调数据。生成垂域微调（问答对）数据，将问答对数据分为：单轮问答数据、多轮问答数据、检索增强问答数据和其他特定的指令任务数据等类型。构造特定Prompt格式的数据。通过编写代码对数据进行处理，生成所需的带有Prompt格式的数据，保存成JSON文件。低质量SFT数据过滤。包括：对回答过短的问答对、回答风格不适宜的问答对进行过滤。同时，针对利用大模型从原始文档中抽取出来的问答对数据，您可以基于rouge-score值（https://pypi.org/project/rouge-score/）进行问答对的过滤。下表列举了该场景常见的数据质量问题，以及相对应的清洗策略，供您参考：表1 微调数据问题与清洗策略序号数据问题清洗步骤与方式 1 问题或回答中带有不需要的特定格式内容或者时间戳等。通过编写代码、正则表达式等进行处理，删除或者修改对应的内容，或者直接过滤掉整条数据。 2 原始数据不符合特定微调数据的格式。通过编写代码进行处理，修改为特定微调格式的数据，例如对于阅读理解微调数据，需要拼接上阅读理解对应的Prompt。 3 收集的数据量大，但质量参差不齐，部分数据由于时效性、内容正确性等原因不可用。对收集自不同来源的数据，进行分别处理，分别过滤不可用的低质量的数据。

盘古大模型 PANGULARGEMODELS 从基模型训练出行业大模型
盘古大模型 PANGULARGEMODELS-打造政务智能问答助手:选择基模型/基础功能模型

选择基模型/基础功能模型 query改写模块：盘古-NLP-N1-基础功能模型说明：该模块用于对多轮对话中的省略和指代问题进行补全，对多轮对话中的query进行改写。当前query改写模块来实现训练和预测需要使用特殊的Prompt，需要注意保持一致。中控模块：盘古-NLP-N1-基础功能模型说明：该模块需要实现意图识别分类的功能。当输入意图识别模块的是政务问题时，控制下游调用检索模块；当输入不需要调用检索的非政务问题时，不调用检索，直接模型回答问题。实现方法为通过微调获得一个具有二分类能力的模型。问答模块：盘古-NLP-N2-基础功能模型说明：该模块需要具备多轮对话能力和阅读理解能力。当前基模型已经具备了通用的多轮对话能力和阅读理解能力，可以通过指令微调进一步强化大模型在特定垂域上的多轮对话能力和阅读理解能力。

盘古大模型 PANGULARGEMODELS 从基模型训练出行业大模型
盘古大模型 PANGULARGEMODELS-打造政务智能问答助手:场景介绍

场景介绍大模型（LLM）通过对海量公开数据（如互联网和书籍等语料）进行大规模无监督预训练，具备了强大的语言理解、生成、意图识别和逻辑推理能力。这使得大模型在智能问答系统中表现出色：用户输入问题后，大模型依靠其强大的意图理解能力和从大规模预训练语料及通用SFT中获得的知识，生成准确而全面的回答。然而，依赖通用大模型自身知识来回答问题，在某些垂直领域应用中会面临挑战：通用大模型的原始训练语料中针对特定垂直领域的数据较少，导致在这些领域的问答表现不佳。某些垂直领域拥有大量高价值的私有数据，但这些数据未被通用大模型吸纳。大模型在训练完成后难以快速有效地更新和补充知识，导致其在面对强时效性知识时，可能提供过时的回答。当前，大模型对于私域数据的利用仍然面临一些挑战。私域数据是由特定企业或个人所拥有的数据，通常包含了领域特定的知识。将大模型与私域知识进行结合，将发挥巨大价值。私域知识从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，如文档，可以利用大模型+外挂检索库（如Elastic Search）的方式快速实现问答系统，称为检索增强生成（Retrieval Augmented Generation，RAG）技术方案。检索增强生成方案被大量用在智能问答场景中，也称为检索增强问答，如政务问答场景，行业客服智能问答场景等。下面将以一个具体的政务问答助手为例进行说明。该场景通过收集政务问答数据和相关政务问答文档，基于检索增强问答框架，构建了一个智能化的政务问答助手。图1 政务问答智能助手整体框架上图给出了政务问答智能助手的整体框架。该框架由query改写模块、中控模块、检索模块和问答模块组成： query改写模块：针对多轮对话中经常出现的指代和信息省略问题，对用户输入的query做改写，将指示代词替换为实体词，并补充省略的context信息。基于改写后的query，再去调用中控模块以及检索模块，以便能够更好地检索出相关文档。中控模块：对（经过改写后的）用户输入query，进行意图识别，判断是否是政务问答场景问题。如果是，则控制流程调用检索模块，并将检索文档传输给问答模块以辅助增强问答模块的能力；如果不是，则控制流程不调用检索模块。检索模块：输入待检索的query，输出从文档检索库中检索出来的文档以及对应的相关性得分score，基于score做阈值判断，是否保留该检索所得问答。由于该场景是打造一个政务问答助手，其中，文档检索库可以放入政务文档数据。问答模块：针对用户的输入，由问答模块最终输出。该模块具备多轮对话能力，输入前几轮对话，然后再输入新一轮的query，模型在回答最后一个query时能够利用到历史问答信息。该模块具备检索问答能力，针对输入的query和此query调用检索模块所得的检索文档，进行开卷问答（阅读理解），提取检索文档中的有效信息，完成问题的回答。除了上述提到的四个模块以外，还需要一个编排流程的pipeline，将这些模块提供的API接口进行编排，串联query改写、意图识别模块、检索模块和问答模块。该pipeline负责接收前端用户输入的query和历史问答，逐步处理并最终输出答案，展示在前端界面。在该框架中，query改写模块、中控模块和问答模块由大模型具体实现，因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建，也可以利用外部web搜索引擎。在初步验证大模型效果时，可以假设检索出出的文档完全相关，将其与query及特定prompt模板拼接后输入模型，观察输出是否符合预期。

盘古大模型 PANGULARGEMODELS 从基模型训练出行业大模型
盘古大模型 PANGULARGEMODELS-打造政务智能问答助手:训练模型

训练模型自监督训练：不涉及有监督微调：该场景采用下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练：表2 问答模型的微调核心参数设置训练参数设置值数据批量大小（batch_size） 4 训练轮数（epoch） 3 学习率（learning_rate） 3e-6 学习率衰减比率（learning_rate_decay_ratio） 0.01 热身比例（warmup） 0.1

盘古大模型 PANGULARGEMODELS 从基模型训练出行业大模型
盘古大模型 PANGULARGEMODELS-最新动态:2024年9月

2024年9月序号功能名称功能描述阶段相关文档 1 盘古大模型正式公测上线盘古大模型是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。平台支持大模型的定制开发，提供全生命周期工具链，帮助开发者高效构建与部署模型，企业可灵活选择适合的服务与产品，轻松实现模型与应用的开发。公测产品介绍 2 盘古大模型「应用百宝箱」上线应用百宝箱是盘古大模型为用户提供的便捷AI应用集，首批支持14个开箱即用的大模型应用。用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。公测体验盘古驱动的应用百宝箱 3 盘古大模型「能力调测」功能上线为用户提供了文本补全和多轮对话两种能力，用户可通过自定义参数，深入体验盘古预置模型的能力。公测体验盘古预置模型能力

盘古大模型 PANGULARGEMODELS
盘古大模型 PANGULARGEMODELS-模型的基础信息

模型的基础信息盘古大模型平台为用户提供了多种规格的模型，涵盖从基模型到功能模型的多种选择，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。表1 NLP大模型清单模型类别模型 token 简介 NLP大模型盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型，具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力，具有32K上下文能力。盘古-NLP-N1-基础功能模型-8K 8192 可外推：16384 基于NLP-N1-基模型训练的基础功能模型，具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力，具有8K上下文能力，可外推至16K。盘古-NLP-N2-基模型 - 预训练模型，擅长通用任务，擅长文本理解，可以高效进行文案生成与文本解析，高性能、时延低。盘古-NLP-N2-基础功能模型-4K 4098 基于NLP-N2-基模型训练的基础功能模型，具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力。盘古-NLP-N2-基础功能模型-32K 32768 基于NLP-N2-基模型训练的基础功能模型，具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力。盘古-NLP-N2-应用增强模型-4K 4096 基于NLP-N2-基模型训练的应用增强模型，支持插件调用，支持多种开发套件，可部署集成至业务系统。盘古-NLP-N4-基模型 - 预训练模型，擅长逻辑推理，支持工具调用、自然语言生成 SQL，可执行复杂任务，质量更高。盘古-NLP-N4-基础功能模型-4K 4096 基于NLP-N4-基模型训练的基础功能模型，具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力，具有4K上下文能力。盘古-NLP-BI专业大模型-4K 4096 基于NLP-N2-基础功能模型运用特定专业代码数据训练后的BI专业大模型，具有4K上下文能力。盘古-NLP-BI专业大模型-32K 32768 基于NLP-N2-基础功能模型运用特定专业代码数据训练后的BI专业大模型，具有32K上下文能力。盘古-NLP-N2单场景模型-4K 4096 基于NLP-N2-基模型训练的单场景模型，可支持选择一个场景进行推理，如：搜索RAG方案等，具有4K上下文能力。盘古-NLP-N2单场景模型-32K 32768 基于NLP-N2-基模型训练的单场景模型，可支持选择一个场景进行推理，如：搜索RAG方案等，具有32K上下文能力。基于盘古大模型打造的专业大模型包括BI专业大模型与单场景大模型，支持模型推理，但不支持模型训练。父主题：模型能力与规格

盘古大模型 PANGULARGEMODELS
盘古大模型 PANGULARGEMODELS-权限管理:IAM权限

IAM 权限默认情况下，管理员创建的IAM用户（子用户）没有任何权限，需要将其加入用户组，并对用户组授权，才能使得用户组中的用户获得对应的权限。授权后，用户就可以基于被授予的权限对云服务进行操作。服务使用OBS存储训练数据和评估数据，如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略，控制OBS的读写权限。表1 策略信息策略名称拥有细粒度权限/Action 权限描述 Pangu OBSWriteOnly obs:object:AbortMultipartUpload obs:object:DeleteObject obs:object:DeleteObjectVersion obs:object:PutObject 拥有用户OBS桶写权限。 Pangu OBSReadOnly obs:bucket:GetBucketLocation obs:bucket:HeadBucket obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:object:GetObject obs:object:GetObjectAcl obs:object:GetObjectVersion obs:object:GetObjectVersionAcl obs:object:ListMultipartUploadParts 拥有用户OBS桶只读权限。

盘古大模型 PANGULARGEMODELS
盘古大模型 PANGULARGEMODELS-权限管理:盘古用户角色

盘古用户角色盘古大模型的用户可被赋予不同的角色，对平台资源进行精细化的控制。表2 盘古用户角色角色说明系统管理员购买平台的用户默认为系统管理员，具有所有操作的权限。运营人员具备资产订购（模型订购、资源订购、资源扩容、资源退订）的权限。模型开发人员具备推理服务接口调用、能力调测、模型开发套件（模型训练管理、模型部署管理）、数据工程（数据集管理）、应用开发（SDK）功能的使用权限。推理服务API调用人员具备推理服务接口调用、能力调测、应用开发（SDK）功能的使用权限。 Prompt工程人员具备推理服务接口调用、能力调测、应用开发（Prompt）、应用开发（SDK）功能的使用权限。

盘古大模型 PANGULARGEMODELS