检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用盘古大模型搜索增强能力 大模型在训练时使用的是静态的文本数据集,这些数据集通常是包含了截止到某一时间点的所有数据。因此,对于该时间点之后的信息,大模型可能无法提供。 通过将大模型与盘古搜索结合,可以有效解决数据的时效性问题。当用户提出问题时,模型先通过搜索引擎获取最新的信息,
数据量很少,可以微调吗 不同规格的模型对微调的数据量都有相应要求。 如果您准备用于微调的数据量很少,无法满足最小的量级要求,那么不建议您直接使用该数据进行微调,否则可能会存在如下问题: 过拟合:当微调数据量很小时,为了能充分学习这些数据的知识,可能会训练较多的轮次,因而模型会过分记
给大模型示例或鼓励大模型解释推理过程,可以引导大模型生成准确率更高的结果。 单样本/多样本 可以在提示词中提供示例,让模型先学习后回答,在使用这种方法时需要约束新样例不能照抄前面给的参考样例,新样例必须多样化、不能重复等,否则可能会直接嫁接前文样例的内容,也可以约束只是让它学习参
根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。 根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,大模型的应答可以无缝实时更新。(搜索+大模型解决方案) 父主题: 大模型概念类问题
的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案,供您参考: 基于规则构建:您可以通过采用一些简单的规则来构建有监督数据。比如:
登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。 对不再使用的数据集可以单击“版本收回”撤销当前版本。 图1 发布数据集 父主题: 准备盘古大模型训练数据集
ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求
更具创造性的内容,可以使用较高的温度,反之如果目标任务的需要生成更为确定的内容,可以使用较低的温度。 请注意,温度和核采样的作用相近,在实际使用中,为了更好观察是哪个参数对结果造成的影响,因此不建议同时调整这两个参数。 如果您没有专业的调优经验,可以优先使用建议,再结合推理的效果动态调整。
多但质量低的数据。若微调数据的质量较差,那么可能会导致模型学习到一些错误或者不完整的信息,从而影响模型的准确性和可靠性。因此,不建议您直接使用低质量数据进行微调。 一份高质量的数据应具备以下几类特征: 数据与目标任务一致:微调数据应该与微调任务的目标和分布保持一致,反映出任务的实
多轮问答场景,为什么微调后的效果不好 当您的目标任务是多轮问答,并且使用了多轮问答数据进行微调,微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据格式:多轮问答场景需要按照指定的数据格式来构造,问题需要拼接上历史所有轮对话的问题和回答。
件。 图3 购买盘古大模型套件 对于前期邀测用户,如果未购买模型推理资产,仍可以使用公共资源池部署模型;对于购买推理资产的邀测用户,仅可以使用专属资源池部署模型。 对于新购买平台的用户,仅可购买并使用专属资源池。 父主题: 准备工作
后付费 先使用再付费。 计费公式:实际消耗的Token数量 * Token单价 Token计算精确到1K Tokens,不足1K Tokens的部分舍去,按小时自动扣费。 变更配置 盘古NLP大模型的模型订阅服务和推理服务默认采用包周期计费,训练服务则默认采用按需计费。使用周期内不支持变更配置。
build(ClientBuilder.java:98) HttpConfig这个类在sdk-core包里面找不到,造成原因为用户使用的sdk版本太老导致,建议使用最新版本的华为云java sdk,运行代码再具体定位。 java.lang.NoSuchFieldError: ALLOW_
工具来查询您的成绩。首先,我将查询您的数学成绩。 行动:使用工具[query_score],传入参数{"arg": "数学"} 工具返回:你的数学的成绩是55分 - 步骤2: 思考:您的数学成绩是55分。接下来,我将查询您的语文成绩。 行动:使用工具[query_score],传入参数{"arg":
都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面,获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息,请提前保存。
平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 使用Token计算器的步骤如下: 登录盘古大模型套件平台。 在“服务管理”页面,单击页面右上角“Token计算器”。 在Token计算器中选择
台还允许用户实时调整参数,以便更好地满足您的需求。 支持区域: 西南-贵阳一 使用能力调测与盘古NLP大模型进行对话问答 应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集,用户可在其中使用盘古大模型预置的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 支持区域:
设置最大迭代次数,控制Agent子规划的最大迭代步数,防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-Default模型,或其衍生模型,使用通用模型或其他模型无法运行。当前的moduleVersion需要配置为“N2_agent_v2”,如
非流式调用推理服务传的参数只能是1或者2。 请使用正确的取值:1或者2。 PANGU.3321 The parameter [n] can only be 1 when calling streaming. 流式调用推理服务n只能取1。 请使用正确的取值:1。 APIG.0101 The
相当可观的基础知识,但如果目标任务要求回答必须符合特定的风格或格式,这将造成和基础知识的数据分布差异。例如,需要模型使用某银行客服的口吻进行线上问答,此时需要使用符合该银行风格和格式的数据集进行微调,以提升模型的遵循度。 Prompt工程后,效果仍无法达到预期:当对模型做了大量的