检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布数据集 刚创建的数据集在未发布状态下,无法应用于模型训练,数据集创建、清洗完成后需要执行“发布”操作才可以将该数据集用于后续的任务中。 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据管理”,在“我的数据集”页签找到未发布的数据集,单击操作列“版本发布”执行发布数据集操作。
整回答的语调和内容,更贴近用户的实际需求。这种智能化、个性化的服务体验不仅减少了转人工的频率,还提升了用户满意度。 创意营销 在创意营销领域,企业常常需要投入大量的时间和资源来撰写吸引人的营销文案。然而,传统的人工撰写方式不仅效率低下,还受到写手个人素质的影响。盘古大模型的应用为这一问题提供了创新的解决方案。
配置知识库 大模型在进行训练时,使用的是通用的数据集,这些数据集没有包含特定行业的数据。通过知识库功能,用户可以将领域知识上传到知识库中,向大模型提问时,大模型将会结合知识库中的内容进行回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
add_tool(SearchTool()) 静态工具和动态工具的注册方式相同,通过addTool接口进行注册。 通过set_max_iterations可以设置最大迭代次数,控制Agent子规划的最大迭代步数,防止无限制的迭代或出现死循环情况。 Agent使用的模型必须为Pangu-NLP-N2-Agent-L0
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型,如,闭源模型或者裸机部署的自定义推理服务,可以通过继承AbstractLLM自定义一个模型,示例代码如下: @Slf4j public class CustomLLM extends AbstractLLM<LLMResp>
09:00的A01已预定成功 - 步骤3 答复:"已为您预定 A01会议室,时间为2024年5月8日早上8点到9点。 " 多轮执行增强 上述的例子中实际运行时只提供给模型多轮的对话,并没有提供工具执行的过程,有概率会出现模型不实际调用工具的情况。为了让大模型的效果更好,可以传入agentSession。
Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答(多轮对话)(/chat/completions)
创建模型评估数据集 在收集评估数据集时,应确保数据集的独立性和随机性,并使其能够代表现实世界的样本数据,以避免对评估结果产生偏差。对评估数据集进行分析,可以帮助了解模型在不同情境下的表现,从而得到模型的优化方向。 在“数据工程 > 数据管理”中创建“评测”类型的数据集作为评估数据集,数据集创建完成后需要执行发布操作。
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对查看效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词
一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望
在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮对话:基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 图1
先制定一个能够明确表达主题的提示词(若模型训练时包含相似任务,可参考模型训练使用的提示词),再由简至繁,逐步增加细节和说明。打好基础是后续提示词优化的前提,基础提示词生成效果差,优化只会事倍功半。 例如,文学创作类可以使用“请创作一个关于{故事主题}的故事”,邮件写作类可以使用“
约束与限制 受技术等多种因素制约,盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异,详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。
token解析失败,请检查获取token的方法,请求体信息是否填写正确,token是否正确;检查获取token的环境与调用的环境是否一致。 token超时(token expires) ,请重新获取token,使用不过期的token。 请检查AK/SK是否正确(AK对应的SK错误,不匹配;AK/SK中多填了空格)。
alueAfter.getAnswer()); //校验,相似 //用于检查缓存中的数据是否与查询的数据语义相似,如果相似,就返回缓存中的结果对象。这个操作需要使用向量和相似度的计算,以及设置的阈值来判断 //例如,查询“缓存存在?”这个问题和“test-semantic-ca
Agent效果优化 如果Agent出现无法正确调用工具的情况,可以尝试一些prompt优化技术提升效果。 优化System prompt 提示财务报销助手依赖的必要信息,如用户名称等基础信息: final String customSystemPrompt = "你是财务
法等。 零样本 对于无样本的任务,可以采用让模型分步思考的方法来分解复杂推理或数学任务,在问题的结尾可以加上“分步骤解决问题”或者“让我们一步一步地思考”,以引导大模型进行逐步的推理和解答。 通过上述指令,将一个推理任务拆解分步骤进行,可以降低推理任务的难度并可以增强答案可解释性
盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异,请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中,一个自监督训练数据集内,上传的数据文件数量不得超过1000个,单文件大小不得超过1GB,所有文件的总大小不得超过200GB。 表1
大模型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状态为“运行中”时,才可以使用本章节提供的方法进行调测,具体步骤请参见部署为在线服务。 文本补全:给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全。例如