检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古大模型套件平台通过提供数据获取、清洗、配比与管理等功能,确保构建高质量的训练数据。 父主题: 准备盘古大模型训练数据集
# sdk.iam.url= sdk.iam.domain= sdk.iam.user= sdk.iam.password= sdk.iam.project= sdk.iam.ak= sdk.iam.sk= sdk.iam.disabled= ###############
您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。
登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。 对不再使用的数据集可以单击“版本收回”撤销当前版本。 图1 发布数据集 父主题: 准备盘古大模型训练数据集
创建模型压缩任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型压缩”。 单击界面右上角“创建压缩任务”,进入创建压缩任务页面。 图1 模型压缩 选择需要进行压缩的模型执行模型压缩,压缩策略为“INT8”。
当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考: 表1 推理参数的建议和说明 推理参数 范围 建议值 说明 温度(temperature) 0~1 0.3 温度主要用于控制模型输出的随机性和创造性。
模型训练所需数据量与数据格式要求 盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异,请基于数据要求提前准备训练数据。
在Postman中选择“Body > raw”选项,参考图6复制并填入以下代码,并填写user name、domain name、password。
登录盘古大模型套件平台,在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签,选择使用N2系列模型,在页面右侧“参数设置”中可以开启搜索增强功能。 图1 体验搜索增强能力
# 盘古模型IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm.pangu.iam.domain= sdk.llm.pangu.iam.user= sdk.llm.pangu.iam.password= sdk.llm.pangu.project
# 盘古模型IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm.pangu.iam.domain= sdk.llm.pangu.iam.user= sdk.llm.pangu.iam.password= sdk.llm.pangu.project
{ "projects": [ { "domain_id": "65382450e8f64ac0870cd180d14e684b", "is_domain": false, "
LLMs skill = ConversationSkill(LLMs.of("pangu")) 问答 from pangukitsappdev.memory.redis_message_history import RedisMessageHistory from langchain.memory
import BaseMessage from langchain_core.outputs import LLMResult # 继承StreamCallbackHandler方法,实现流式输出 class TextStreamCallBack(StreamCallbackHandler
417 Expectation Failed 服务器无法满足Expect的请求头信息。 422 Unprocessable Entity 请求格式正确,但是由于含有语义错误,无法响应。
提示词的撰写步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。
如果您没有专业的调优经验,可以优先使用平台提供的默认值,再结合训练过程中的实际情况动态调整。
final LLM llm = LLMs.of(LLMs.OPENAI, LLMConfig.builder() .llmParamConfig(LLMParamConfig.builder().temperature(0.0).build())
": { "name": "domainname" //账号名 } } } }, "scope"
提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度,一个任务代表一个场景或一个调优需求,在提示词工程任务下可以进行提示词的调优、比较和评估。 提示词工程任务管理支持工程任务的创建、查询、修改、删除。