检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工具并利用大模型的对话问答、规划推理、逻辑判断等能力，来理解和回应用户的需求。 例如，需要构建一个企业助理应用，该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。在构建此应用时，需要将预定会议室与创建在线文档等功能的API接口定义为一系列的工具，并通过AI助手，将这些工
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
补预设 当任务存在多个情境时，编写提示词时需要考虑全面，需要做好各种情境的预设，告知模型对应策略，可以有效防止模型误回答以及编造输出。 父主题： 常用方法论
在提示词中内容的顺序也很重要，基于盘古大模型调优经验，将关键信息放在结尾处，模型输出效果更好。不同任务的关键信息不同，若需要模型生成的内容更具创意性，关键信息需要为内容描述；需要模型严格遵循指令进行回复的，关键信息为指令及说明。 父主题： 常用方法论
想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和回答。比如，当前是第三轮对话，数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题，答案字
准备工作 使用盘古大模型应用开发SDK时，需要在代码中配置以下信息，请提前收集。 表1 资源列表 类型 资源 是否必选 依赖信息 参考文档 备注 大语言模型 华为云盘古 是（大语言模型至少选一个） 盘古模型API调用URL。 华为云IAM账号认证信息。 盘古大模型API参考文档：
法，仅供测试使用。 前提条件 使用API调用模型前，需要先开通盘古大模型服务。 使用Postman调用API 获取API请求地址。 在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。
模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2
t Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理 > 授权管理”，单击右上角“一键授权”进行授权。
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 文本补全：给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮
Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密因子，结合请求体携带的特定信息计算而成。通过访问密钥（AK/SK）认证方式进行认证鉴权，即使用Access
开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 通用文本（文本补全）：文本补全接口提供单轮文本能力，常用于文本生成、文本摘要、闭卷问答等任务。 对话问答（多轮对话）：多轮对
底回复比例以及输入/输出token信息。 通过“服务管理”功能查看调用量 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，选择所需要查看的服务，单击操作列“查看详情”。 图1 查看详情 在服务详情页面，在“概览”页签，可以查看调用量的概览信息，在“监控”页签，可以查看下
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
提交工单。 图1 立即购买 图2 新建工单 获取购买权限后，根据需要选择计费模式，基模型需选择“N2 - 基础模型功能 & 应用增强功能”。用户可根据需求自行选择功能模型，输入资源名称，类型选择“边缘部署”，输入需要订购的推理算力，单击“确认订单”。 订购完成后，进入“平台管理 >
在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程名称，跳转工程任务下候选提示词页面。 图1 提示词工程 选中需要评估的候选提示词，单击左上角“创建评估”按钮，跳转评估任务创建页面。 图2 创建评估 选择评估使用的变量数据集和评估方法。
设置背景及人设 背景： 模型基于简单prompt的生成可能是多范围的各方向发散的，如果您需要进行范围约束，或加强模型对已有信息的理解，可以进行提示：“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”，或者可以说
理解底层任务 需要站在模型的角度理解相关任务的真实底层任务，并清晰描述任务要求。 例如，在文档问答任务中，任务本质不是生成，而是抽取任务，需要让模型“从文档中抽取出问题的答案，不能是主观的理解或解释，不能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题
调用AI助手API 获取AI助手API调用地址 登录盘古大模型套件平台。 左侧导航栏选择“应用开发 > AI助手”，选择需要运行的AI助手，单击“查看”。 图1 查看AI助手 在详情页面，AI助手API调用地址。 图2 获取调用地址 获取Token 本示例中，通过使用Postman软件获取Token。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
