检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文档问答 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型回答,适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import Embeddings
文档摘要 基于已有的知识库进行摘要总结,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
Vector Embedding Embedding模块用于对Embedding模型API的适配封装,提供统一的接口快速地调用CSS模型embedding能力。 初始化:根据相应模型定义Embedding类。例如,使用华为CSS Embedding为:Embeddings.of(Embeddings
Vector Embedding Emebedding模块用于对Emebedding模型API的适配封装,提供统一的接口快速地调用CSS等模型emebedding能力。 初始化:根据相应模型定义Emebedding类,如使用华为CSS Embedding为:Embeddings.of("css");。
Prompt(提示词模板) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev.sdk
打造政务智能问答助手 场景介绍 大模型(LLM)通过对海量公开数据(如互联网和书籍等语料)进行大规模无监督预训练,具备了强大的语言理解、生成、意图识别和逻辑推理能力。这使得大模型在智能问答系统中表现出色:用户输入问题后,大模型依靠其强大的意图理解能力和从大规模预训练语料及通用SF
大模型是否可以自定义人设 大模型支持设置人设,在用户调用对话问答(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。例如,以下示例要求模型以幼儿园老师的风格回答问题。 { "messages": [
基础问答 基础问答(SimpleSkill)提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息
基本概念 训练相关概念 表1 训练相关概念说明 概念名 说明 Token 令牌(Token)是指模型处理和生成文本的基本单位。Token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成Token,然后根据模型的概率分布进行采样或者计算。 例如,在英文中,有些组合单词会根
Prompt(提示词模板) 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev
创建有监督训练任务 创建有监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),
基础问答 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain.prompts
查看评估任务详情 查看评估任务详情 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。
查看训练任务详情与训练指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异,训练指标和训练方法的关系如下: 表1 训练指标和训练方法对应关系
如何调整推理参数,使模型效果最优 推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考:
创建自监督微调训练任务 创建自监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中,训练配置选
打造短视频营销文案创作助手 场景介绍 随着互联网的发展,短视频已成为了日常生活中不可或缺的一部分,凭借其独特的形式和丰富的内容吸引了大量流量,并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案,以提升营销效果和效率。在这种场景下,用户只需提供