检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请参见《产品介绍》“模型规格 > 模型基础信息”章节。 presence_penalty 否 Float 用于调整模型对新Token的处理方式。即如果一个Token已经在之前的文本中出现过，那么模型在生成这个Token时会受到一定的惩罚。当presence_penalty的值为正
Content-Type：消息体的类型（格式），必选，默认取值为“application/json”。 X-Auth-Token：用户Token，可选，当使用Token方式认证时，必须填充该字段。用户Token请参考认证鉴权中的“Token认证”。 公有云API同时支持使用AK/SK认证，AK/SK认证是使用
SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https://infer-
依据需要清洗的数据类型，选择对应的数据集和数据集版本，输出路径，设置名称、描述等信息为可选项。 输出路径默认为系统生成，您也可以自定义输出路径，当前支持覆盖和追加两种方式。 覆盖：清洗后数据覆盖和替换原有数据集内容。 追加：清洗后数据增加到原有数据集路径下。 任务信息填写完成后，单击“下一步”，搭建数据清洗流程。
部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。 推理资产 选择“已购资产”。 限时免费：使用免费的推理资源，仅支持部署一个实例。
大模型生成文本的过程可视为一个黑盒，同一模型下对于同一个场景，使用不同的提示词也会获得不同的结果。提示工程是指在不更新模型参数的前提下，通过设计和优化提示词的方式，引导大模型生成目标结果的方法。 为什么需要提示工程 模型生成结果优劣取决与模型能力及提示词质量。其中模型能力的更新需要准备大量的数据及消
"好的，以下是修改后的xxxx"} 多轮问答场景的输入（“context”字段）请务必使用“[问题, 回答, 问题, 回答, 问题, ……]”的方式来构造，若您的数据是同一个角色连续多次对话的“多轮问题”，可以将同一个角色的对话采用某个分隔符拼接到一个字符串中。例如： 原始对话示例： A：xxx号话务员为您服务！
成token，然后根据模型的概率分布进行采样或者计算。 presence_penalty 否 Float 用于调整模型对新Token的处理方式。即如果一个Token已经在之前的文本中出现过，那么模型在生成这个Token时会受到一定的惩罚。当presence_penalty的值为正
来源二：基于大模型的数据泛化。基于目标场任务的分析，通过人工标注部分数据样例，然后利用大模型（如盘古提供的任意规格的基础功能模型）采用self-instruct等方式，泛化出更多的业务场景数据。 方法一：在大模型输入的Prompt中包含“人设赋予”、“任务描述”、“任务具体要求”和“输出格式要求”等部分
人们穿着古代的服饰，用着他听不懂的语言交谈。他意识到自己真的穿越了。李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言，适应新的生活方式。他开始学习宋朝的礼仪，尝试理解这个时代的文化。在宋朝，李晓遇到了许多有趣的人。他遇到了一位名叫赵敏拿来的小女孩，她聪明伶俐，让李晓对她产
模型调用 使用“能力调测”调用模型 使用可视化的“能力调测”页面调用模型。 使用“能力调测”调用模型 使用API调用模型 通过API编写代码方式调用模型。 使用API调用模型 提示词工程 - 利用精心设计的提示词优化和引导大模型生成更加准确和相关的输出，提高模型在特定任务中的表现。
基础功能模型）采用self-instruct等方式泛化出更多的业务场景数据。示例如下： 大模型输入： 请改写命令案例，生成10个相似命令，保证每个命令都可以调用正确的指标接口。 请注意： 1. 命令必须契合人类常见的提问方式，命令方式必须保证多样化 2. 生成的命令只能改写命令案例中文表达部分的内容
0.1 0~1 热身阶段占整体训练的比例。 模型刚开始训练时，如果选择一个较大的学习率，可能导致模型训练不稳定。选择使用warmup热身的方式，可以使开始训练的热身阶段内学习率较小，模型可以慢慢趋于稳定，待模型相对稳定后再逐渐提升至预设的最大学习率进行训练。使用热身可以使得模型收敛速度更快，效果更佳。
要经过微调训练才能应用。NLP大模型不仅支持预训练和微调，还可以通过如下训练途径来构建满足客户需求的“用户模型”。 图1 NLP大模型训练方式与流程 除基模型、功能模型这两种模型划分途径外，NLP大模型还提供了多种系列的模型，不同系列模型在能力上有所差异，可执行的训练操作也有所不同。
数据集组合：选择多个数据集，并且可以指定数据之间的配比和条数，最大支持20个。 配比的作用：支持用户灵活调整数据集的比例。 比例：用户自己创建的数据集，默认1:1:1的方式。例如，3个数据集D1（100GB）、D2（50GB）、D3（200GB），配比按照最大比例去配比，即为D1（50GB）、D2（50GB）
此时，再次使用同样的问题，则不会再调用大模型，而是直接从内存返回： llm.ask("你能讲一个笑话吗？") Cache缓存有以下几个操作： 初始化：指定缓存使用哪种存储方式。例如，使用内存型缓存可以设置为Cache cache = Caches.of(Caches.IN_MEMORY);。 import com
域知识从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，如文档，可以利用大模型+外挂检索库（如Elastic Search）的方式快速实现问答系统，称为检索增强生成（Retrieval Augmented Generation，RAG）技术方案。检索增强生成方案被大量
remove(["add", "reverse"]) 以上为一个比较基础的用法，在实际使用过程中会有更加灵活的场景，可以通过自定义ToolProvider的方式解决。 自定义ToolProvider： # 初始化CSSToolRetriever，使用ToolProviderWithMetadata作为ToolProvider
singletonList("a_tool_id")); 以上为一个比较基础的用法，在实际使用过程中会有更加灵活的场景，可以通过自定义ToolProvider的方式解决。 自定义ToolProvider： // 初始化CSSToolRetriever，使用ToolProviderWithMetadata作为ToolProvider
大模型建议为N2-基础模型或者其他同等类型的模型。 多Agent组合 有时需要多个Agent配合完成任务，可以通过子Agent作为tool方式实现： // 定义子Agent（tool形式） import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent;
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
