检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测AI助手 在AI助手的创建页面可以直接进行调测,也可以在AI助手列表页进行调测。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”,选择需要调测的AI助手,单击“调测”按钮。 图1 AI助手 在调测页面,可以调整AI助手的指令,输入问题后,单击“运行”获得模型回复结果。
查看评估任务详情 查看评估任务详情 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。
实验,来探索如何利用提示词来提高大模型在各种任务上的表现。 撰写提示词前需要先创建提示词工程,用于对提示词的统一管理。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 单击页面右上角“创建工程”,进入工程任务创建弹窗。输入工程名称、
盘古大模型具备文本补全和多轮对话能力,用户在完成盘古大模型套件的订购操作后,需要开通大模型服务,才可以调用模型,实现与模型对话问答。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮文本能力,常
源(专属资源池)。如果不订购推理资产,可以使用订购的盘古模型进行训练,但无法部署训练后的模型。 登录盘古大模型套件平台。 在服务“总览”页面,单击“立即购买”,平台将为您提交购买权限申请。如您有加急购买需求,可在页面右上角单击“工单 > 新建工单”,搜索“盘古大模型”产品,选择问题类型并提交工单。
终端节点 终端节点(endpoint)即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
问答模块:准备单轮问答和检索增强的数据集。 {"context": ["请问福田英才荟卫生系统人才与福田英才荟高层次人才是不同的部门受理么?"], "target": "您好,福田英才荟卫生系统人才奖励管理办法只针对福田区属医疗卫生事业单位人员,其他高层次人才申领奖励建议咨询区人力资源局。"}
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型,并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
LLMParamConfig; // 设置模型参数,temperature为0.9 LLMConfig llmConfig = LLMConfig.builder().llmParamConfig(LLMParamConfig.builder().temperature(0.9).build()).build();
通过“运营面板”功能查看调用量:查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。 通过“服务管理”功能查看调用量 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,选择所需要查看的服务,单击操作列“查看详情”。 图1 查看详情 在服务详情页面,在“概览”页签,可以查
发布提示词 通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将提示词发布至“提示词管理”中。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程名称,跳转工程任务下候选提示词页面。
部署边缘模型 进入盘古大模型套件平台,进入“模型开发 > 模型部署 > 边缘部署”,单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产,选择部署方式为边缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 >
模型训练所需数据量与数据格式要求 盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异,请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中,一个自监督训练数据集内,上传的数据文件数量不得超过1000个,单文件大小不得超过1G
的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2
开通盘古大模型服务 调用模型之前,需要先开通盘古大模型服务。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:提供单轮文本能力,常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话:提供多轮文本能力,常用于多轮对话、聊天任务。
横向比较提示词效果 将设置为候选的两个提示词横向比较,获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1
的场景应用和外部应用,轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前,请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮
注册华为账号并开通华为云,并完成实名认证,账号不能处于欠费或冻结状态。 检查开发环境要求,确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 通用文本(文本补全):文本补全