检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中，Token起到了身份验证和权限管理的作用。
节点”处单击“添加”，选择要添加的主控节点，单击“确定”。 在“工作节点”处单击“添加”，选择要添加的工作节点，单击“确定”。 单击“立即创建”，可在资源池列表中查看节点的状态。如果状态为“运行中”，则创建成功。 在主控节点执行如下k8s命令，验证边缘池创建结果： 执行如下命令建立软连接。
在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中，Token起到了身份验证和权限管理的作用。
模型管理”页面，单击右上角的“模型迁移”。 在“模型迁移”页面，下载用户证书。 图2 下载用户证书 登录环境A的盘古大模型套件平台，在“模型迁移”页面，选择“导出模型”，在导入证书的地方上传环境B下载的证书文件，并选择需要导出的模型和模型导出的obs路径。 图3 导出模型 单击“确定”，导出模型。 模
看测试集样本的PPL、BLEU和ROUGE等指标，进行横向（相同训练数据+不同规格的通用模型）或纵向（不同训练数据训练的多个模型版本）对比来判断训练过程是否出现了问题。 人工评测：您可以采用人工评测的方式，参照目标任务构造评测集，通过横向或纵向评估评测集的方式来验证模型效果。 父主题：
> Ascend”，并选择加速卡类型。 如果节点没有加速卡，则选择“AI加速卡 > 不使用”。 单击“立即下载”，下载设备证书和Agent固件，并将设备证书与Agent固件分别重命名为license.tgz、hilens-agent.tgz。 父主题： 部署为边缘服务
用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥
少于xx个字的文本。”，将回答设置为符合要求的段落。 续写：根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息，可以将有监督的问题设置为“以下是一篇文章的第一个句子：xxx/第一段落：xxx。请根据以上的句子/段落，续写为一段不少于xx个字的文本。”，再将回答设置为符合要求的段落。
模型调用成功后，有两种方式可以查看模型的调用量。 通过“服务管理”功能查看调用量：查看具体某个模型的调用总量、调用成功量、调用失败量，且可按时间进行筛选。 通过“运营面板”功能查看调用量：查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。 通过“服务管理”功能查看调用量
n就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。 如果您的华为云账号已升级为华为账号，将不支持获取账号Toke
print(cache_value_after.answer) # 校验，相似 # 用于检查缓存中的数据是否与查询的数据语义相似，如果相似，就返回缓存中的结果对象。这个操作需要使用向量和相似度的计算，以及设置的阈值来判断 # 例如，查询“缓存存在？”这个问题和“test-semantic-ca
开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https:/
前是第三轮对话，数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题，答案字段则为第三轮的回答。以下给出了几条多轮问答的数据样例供您参考： 原始对话示例： A：你是谁？ B：您好，我是盘古大模型。 A：你可以做什么？ B：我可以做很多事情，比如xxxx
创建一个新的数据集 数据集是指用于训练模型或评估的一组相关数据样本。存储在OBS中的数据可以通过数据集的形式放置在到盘古平台中，便于管理。 在创建数据集之前，请先将数据上传至OBS平台。 上传数据至OBS 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”，单击界面右上角“创建数据集”。
盘古大模型致力于深耕行业，打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台，该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务，支持大模型的定制开发，并提供覆盖全生命周期的大模型工具链。 盘古大模
LoRA轶值 / 8、16、32、64 较高的取值意味着更多的参数被更新，模型具有更大的灵活性，但需要更多的计算资源和内存。较低的取值则意味着更少的参数更新，资源消耗更少，但模型的表达能力可能受到限制。 训练轮数 4 1~50 完成全部训练数据集训练的次数。 学习率 0.0001 0~1
调整模型的softmax输出层中预测词的概率。其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。 多样性与一致性 多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间的差异。一致性指相同输入对应的不同输出之间的一致性。 重复惩罚
安装SDK Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk.api.memory
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
