检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用模型内容审核 内容审核是文本的检测技术,可自动检测涉黄、涉暴、违规等内容,对用户向模型输入的内容、模型输出内容进行内容审核,帮助客户降低业务违规风险。 授权使用华为云内容审核,有效拦截大模型输入输出的有害信息,保障模型调用安全。 授权后,在调用盘古大模型能力时,模型的输入和输
什么是盘古大模型 盘古大模型致力于深耕行业,打造多领域的行业大模型和能力集。其核心能力依托于盘古大模型套件平台,该平台是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务,支持大模型的定制开发,并提供覆盖全生命周期的大模型工具链。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证 Token在计算机系统中代表令牌
build()); 查询数据:从缓存中获取数据,需要指定数据的键值对。例如,查找1+1这个问题对应的答案,可参考以下示例。 import com.huaweicloud.pangu.dev.sdk.api.llms.response.LLMResp; // 查找数据 LLMResp
盘古应用开发SDK简介 应用开发SDK概述 应用开发SDK针对大模型应用开发场景,对大语言模型进行封装,提供了提示词模板、记忆、技能、智能代理等功能模块,简化用户的开发工作,帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言: Java Python 开发环境要求 华
管理模型资产、推理资产 查看模型资产与模型推理资产 用户购买盘古大模型套件后,可以在“平台管理 > 资产管理”中查看购买的模型资产和模型推理资产。 图1 查看模型资产 图2 查看模型推理资产 续订模型推理资产 模型推理资产到期后,可以进行续订操作。 在“平台管理 > 资产管理 >
清洗。 数据清洗模板获取方式如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”,进入“清洗模板”页面,在该页面查看预置的数据清洗模板。 图1 获取数据清洗模板 父主题: 清洗数据集(可选)
可以在“模板”页签查看,也可以返回数据清洗列表,在“清洗模板 > 我的模板”中查看。 图5 发布模板 清洗流程搭建完成后,单击界面右上角“完成创建”。 单击清洗任务列表操作栏中的“启动”,启动清洗任务。 清洗任务完成后,可以单击“任务名称”,在任务详情页面,查看任务详情、评估指标、清洗明细及清洗流程图。
更新数据 cache.update("1+1", LLMResp(answer=2)) 查询数据:从缓存中获取数据,需要指定数据的键值对。例如,查找1+1这个问题对应的答案,参考示例如下: # 查找数据 cache_value = cache.lookup("1+1") 清理数据:删
info查看驱动是否已安装。如果有回显npu卡信息,说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令,查看是否有回显网卡信息。如果有,则说明网卡已经配置,否则继续操作下面步骤。 cat /etc/hccn.conf 执行如下命令,查看npu卡数。
数据量和质量均满足要求,为什么微调后的效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习
否需要为您预定其他时间段或者其他会议室? - 步骤1: 思考:好的,我需要先查询A02会议室今天下午3点到8点的预定状态。使用meeting_room_status_query工具进行查询。 行动:使用工具[meeting_room_status_query],传入参数"{\"start\":
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
toolPrinciple = "请在有用户ID、用户单据、用户最大报销比例的情况下查询用户最大报销额度时调用此工具。需要先分别调用query_receipt工具查询用户单据和query_reimbursement_ratio工具查询最大报销比例。", inputDesc = "用户ID、用户单据、用户报销最大比例"
确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。
地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
为边缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 > 边缘部署”,查看边缘部署列表。 单击“服务名称”可进入服务详情界面。 如果服务部署状态为“部署失败”,可单击服务操作列的“启动”按钮,重新部署。 父主题:
功能将本局点训练的模型导出,或将其他局点训练的模型导入本局点进行使用。 支持迁移操作的模型可以在“模型开发 > 模型管理 > 我的模型”中查看。 图1 模型管理 导入/导出模型 以从环境A迁移模型到环境B为例: 登录环境B的盘古大模型套件平台,在“模型开发 > 模型管理”页面,单击右上角的“模型迁移”。
预览提示词效果 提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。 在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。 输入变量值后预览区域会自动组装展示提示词。用户也可以直接选择已创建的变量集填入变量值信息