检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
创建一个新的数据集 数据集是指用于训练模型或评估的一组相关数据样本。存储在OBS中的数据可以通过数据集的形式放置在到盘古平台中,便于管理。 在创建数据集之前,请先将数据上传至OBS平台。 上传数据至OBS 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,单击界面右上角“创建数据集”。
创建提示词评估数据集 批量评估提示词效果前,需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符,用于根据不同的场景或用户输入生成不同的内容。其中,变量名称可以是任意的文字,用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。
查看训练任务详情与训练指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异,训练指标和训练方法的关系如下: 表1 训练指标和训练方法对应关系
调用AI助手API 获取AI助手API调用地址 登录盘古大模型套件平台。 左侧导航栏选择“应用开发 > AI助手”,选择需要运行的AI助手,单击“查看”。 图1 查看AI助手 在详情页面,AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中,通过使用Postman软件获取Token。
横向比较提示词效果 将设置为候选的两个提示词横向比较,获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格和格式等。 撰写提示词时,可以设置提示词变量,即在提示词中通过添加占位符{{ }}标识,表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,将
发布提示词 通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将提示词发布至“提示词管理”中。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程名称,跳转工程任务下候选提示词页面。
获取API认证鉴权信息(获取Token) 登录“我的凭证 > API凭证”页面,获取user name、domain name、project id。 project id参数需要与盘古服务部署区域一致。例如,盘古大模型部署在“西南-贵阳一”区域,需要获取与“西南-贵阳一”区域对应的project
调测AI助手 在AI助手的创建页面可以直接进行调测,也可以在AI助手列表页进行调测。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”,选择需要调测的AI助手,单击“调测”按钮。 图1 AI助手 在调测页面,可以调整AI助手的指令,输入问题后,单击“运行”获得模型回复结果。
查看评估任务详情 查看评估任务详情 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。
创建提示词评估任务 选择候选提示词进行批量自动化评估。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程名称,跳转工程任务下候选提示词页面。 图1 提示词工程 选中需要评估的候
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮
管理模型资产、推理资产 查看模型资产与模型推理资产 用户购买盘古大模型套件后,可以在“平台管理 > 资产管理”中查看购买的模型资产和模型推理资产。 图1 查看模型资产 图2 查看模型推理资产 续订模型推理资产 模型推理资产到期后,可以进行续订操作。 在“平台管理 > 资产管理 >
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
开通盘古大模型服务 调用模型之前,需要先开通盘古大模型服务。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话:提供多轮文本能力,常用于多轮对话、聊天任务。
开通盘古大模型服务 盘古大模型具备文本补全和多轮对话能力,用户在完成盘古大模型套件的订购操作后,需要开通大模型服务,才可以调用模型,实现与模型对话问答。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。
准备工作 注册华为账号并开通华为云,并完成实名认证,账号不能处于欠费或冻结状态。 检查开发环境要求,确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证 Token在计算机系统中代表令牌
创建模型评估任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击界面右上角“创建评估任务”,进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置: 待评估模型:支持选择多个模