检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么微调后的模型，输入与训练样本相似的问题，回答与训练样本完全不同 当您将微调的模型部署以后，输入一个已经出现在训练样本中，或虽未出现但和训练样本差异很小的问题，回答完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来
host信息。 用户认证信息。 云数据库RDS： https://support.huaweicloud.com/rds/index.html - Mysql 否 host信息。 用户认证信息。 Mysql官网： https://www.mysql.com/ - iam认证与SDK配置项的映射关系如下：
加了企业的运营成本，也影响了用户体验。盘古大模型的引入为这一问题提供了有效解决方案。 盘古大模型通过将客户知识数据转换为向量并存储在向量数据库中，利用先进的自然语言处理技术对用户输入的文本进行深度分析和理解。它能够精准识别用户的意图和需求，即使是复杂或模糊的查询，也能提供准确的响
pangukitsappdev.api.embeddings.factory import Embeddings # redis向量 # 不同的向量存储， 不同的相似算法；计算的评分规则不同； 可以同过scoreThreshold 设置相似性判断阈值 # 例如使用Redis向量、余弦相似度、CSS词向量模型，并且设置相似性判断阈值为0
批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。 数据行数不小于10行，不大于50行。
购买盘古大模型套件 开通盘古大模型服务 开通大模型的文本补全、多轮对话能力。 开通盘古大模型服务 配置授权/创建子用户 配置盘古访问OBS服务权限，多用户使用平台情况下需要创建子用户。 配置盘古访问授权 创建子用户并授权使用盘古 准备训练数据 创建一个新的数据集 创建一个新的数据集，用来管理上传至平台的训练或者评测数据。
DistanceStrategy; import org.junit.jupiter.api.Assertions; //redis向量 // 不同的向量存储， 不同的相似算法；计算的评分规则不同； 可以同过scoreThreshold 设置相似性判断阈值 // 例如使用Redis向量、余弦相似度、CSS词向量模型，并且设置相似性判断阈值为0
1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以看到模型前后两次回复内容的多样性降低。 图3 “核采样”参数调小后生成结果1 图4 “核采样”参数调小后生成结果2 将“核采样”参数调大，如改为1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以看到模型前后两次回复内容的多样性提高。
1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以看到模型前后两次回复内容的多样性降低。 图3 “核采样”参数调小后生成结果1 图4 “核采样”参数调小后生成结果2 将“核采样”参数调大，如改为1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以看到模型前后两次回复内容的多样性提高。
获取数据清洗模板 在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，进入“清洗模板”页面，在该页面查看预置的数据清洗模板。
创建子用户并授权使用盘古 如果您需要对华为云上购买的盘古资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的
打印信息： import logging # 打印在命令行（与打印在文件不同时生效） logging.basicConfig(level=logging.DEBUG) # 打印在日志文件（与打印在命令行不同时生效） logging.basicConfig(level=logging
模型的基础信息 盘古大模型平台为用户提供了多种规格的模型，涵盖从基模型到功能模型的多种选择，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型
排顺序 在提示词中内容的顺序也很重要，基于盘古大模型调优经验，将关键信息放在结尾处，模型输出效果更好。不同任务的关键信息不同，若需要模型生成的内容更具创意性，关键信息需要为内容描述；需要模型严格遵循指令进行回复的，关键信息为指令及说明。 父主题： 常用方法论
HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时候，PATCH可能会去创建一个新的资源。 在接口的URI部分，您可以看到其请求方法为“POST”，则其请求为： POST https://{endpoint}/v1/{project_id}/deploymen
模型支持的区域 区域是一个地理区域的概念。我国地域面积广大，由于带宽的原因，无法仅依靠一个数据中心为全国客户提供服务。因此，根据地理区域的不同将全国划分成不同的支持区域。 盘古大模型当前仅支持西南-贵阳一区域。 图1 盘古大模型服务区域 父主题： 模型能力与规格
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk.api
install gptcache~=0.1.37 pip install redis-om~=0.1.3 pip install pymysql~=1.1.0 pip install SQLAlchemy~=2.0.19 API手册 API手册请参见SDK API 手册。 父主题：
模型支持的操作 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评估、模型压缩和在线推理等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是各个模型支持的具体操作： 表1 模型支持的操作 模型 预训练 微调 模型评估 模型压缩
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
