检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
记忆系统：通过构建记忆模块去管理历史任务和策略，并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。 任务执行：能通过工具与外界发生联系并产生影响，工具可以自定义，包括查询信息、调用服务、网络搜索、文件管理、调用云服务等，通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt，直到
更具多样性的内容，可以使用较大的核采样，反之如果目标任务的需要生成更为确定的内容，可以使用较小的核采样。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，因此不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。
记忆系统：通过构建记忆模块去管理历史任务和策略，并让Agent结合记忆模块中相关的信息以获取最优化任务解决策略。 任务执行：能通过工具与外界发生联系并产生影响，工具可以自定义，包括查询信息、调用服务、网络搜索、文件管理、调用云服务等，通过Agent构建一个让LLM按照特定的规则迭代运行的Prompt，直到
principle。何时使用该工具，为重要参数，该描述直接影响LLM对工具使用的判断，尽量描述清楚。如果Agent实际执行效果不符合预期，可以调整。 input_desc。工具的入参描述 ，为重要参数，该描述直接影响LLM对入参的提取，尽量描述清楚。如果Agent实际执行效果不符合预期，可以调整。
toolPrinciple。表示何时使用该工具，为重要参数。该描述直接影响LLM对工具使用的判断，尽量描述清楚。如果Agent实际执行效果不符合预期，可以调整。 inputDesc。工具的入参描述，为重要参数。该描述直接影响LLM对入参的提取，尽量描述清楚。如果Agent实际执行效果不符合预期，可以调整。
ID和私有访问密钥一起使用，对请求进行加密签名。 SK(Secret Access Key)：与访问密钥ID结合使用的密钥，对请求进行加密签名，可标识发送方，并防止请求被修改。 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请求
"您好，我是盘古大模型。", "你可以做什么？", "我可以做很多事情，比如xxxx", "你可以讲个笑话吗？", "当然可以啦，以下是xxxx", "可以把这个笑话改成xxxx"], "target": "好的，以下是修改后的xxxx"} 多轮问答场景的输入（“context”字段）请务必使用“[问题,
Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询，通过向量和相似度的计算，实现对数据的语义理解和检索。 Vector向量存储：是一种将数据转换为数学表示的方法，它可以度量数据之间的关系和相
训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建，也可以利用外部web搜索引擎。在初步验证大模型效果时，可以假设检索出的文档完全相关，将其与query及特定pro
“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。 如果节点没有加速卡，则选择“AI加速卡 > 不使用”。 单击“立即下载”，下载设备证书和Agent固件，并将设备证书与Agent固件分别重命名为license.tgz、hilens-agent
Cache缓存：是一种临时存储数据的方法，它可以提高数据的访问速度和效率。缓存可以根据不同的存储方式进行初始化、更新、查找和清理操作。缓存还可以支持语义匹配和查询，通过向量和相似度的计算，实现对数据的语义理解和检索。 Vector向量存储：是一种将数据转换为数学表示的方法，它可以度量数据之间的关系和相
温暖的拥抱吧！"} 数据量级要求：本场景使用了5000条数据进行微调。 说明：类似场景需要的微调数据量视具体情况而定。从经验上来说，如果实际场景相对单一，比如只需要构建短视频口播文案生成的场景，则使用5000条数据即可；如果场景中涵盖多个细分场景，比如短视频口播生成、小红书风格文
键角色。用户可以通过提示工程提高语言模型的安全性，也可以通过专业领域知识和外部工具赋能语言模型，增强其能力。 Prompt基本要素 您可以通过简单的提示词获得大量结果，但结果的质量与您提供的信息数量和完善度有关。一个提示词可以包含您传递到模型的指令或问题等信息，也可以包含其他种类
user。 如果需要模型以某个人设形象回答问题，可以将role参数设置为system。不使用人设时，可设置为user。在一次会话请求中，人设只需要设置一次。 content表示对话的内容，可以是任意文本。 messages参数可以帮助模型根据对话的上下文生成合适的回复。 数组长度：1
了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 使用Token计算器的步骤如下： 登录盘古大模型套件平台。 在“服务管理”页面，单击页面右上角“Token计算器”。
典型训练问题和优化策略 什么情况下需要微调 什么情况下不建议微调 数据量很少，可以微调吗 数据量足够，但质量较差，可以微调吗 无监督的领域知识数据，量级无法支持增量预训练，如何让模型学习 如何调整训练参数，使模型效果最优 如何判断训练状态是否正常 如何评估微调后的模型是否正常 如何调整推理参数，使模型效果最优
大模型概念类问题 大模型是什么 大模型的计量单位token指的是什么 大模型是否可以自定义人设 盘古自然语言大模型的适用场景有哪些 大模型的安全性需要从哪些方面展开评估和防护 训练智能客服系统大模型需要考虑哪些方面
模型刚开始训练时，如果选择一个较大的学习率，可能导致模型训练不稳定。选择使用warmup热身的方式，可以使开始训练的热身阶段内学习率较小，模型可以慢慢趋于稳定，待模型相对稳定后再逐渐提升至预设的最大学习率进行训练。使用热身可以使得模型收敛速度更快，效果更佳。 模型保存步数 1000 1000~2000中10的倍数
查看训练任务详情与训练指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异，训练指标和训练方法的关系如下： 表1 训练指标和训练方法对应关系
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
