检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
灵活使用所有华为云提供的服务。 进入华为云官网,参考账号注册指导及界面提示信息,完成账号注册。 注册成功后即可自动登录华为云,您需要完成“实名认证”才可以正常使用服务。具体认证方式请参见实名认证。 获取账号信息 在调用服务API、SDK时,需要将账号相关的信息作为API凭证传入代码。
配置多轮对话能力(Python SDK) 支持上下文记忆的多轮对话。 初始化 from pangukitsappdev.skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory
意输出格式中的key不要有语义重复,并且需要与前文要求中的key名字保持一致,否则模型会不理解是同一个key。 恰当的表述 可以尝试从英语的逻辑去设计提示词。 最好是主谓宾结构完整的句子,少用缩写和特殊句式。 应使用常见的词汇和语言表达方式,避免使用生僻单词和复杂的句式,防止机器理解偏差。
llms.llm_config import LLMParamConfig # 不带参数的问答 skill.execute({"subject": "哈士奇", "count": 20}) # 带参数的问答 llm_param_config = LLMParamConfig(temperature=0
配置基础问答能力(Java SDK) 基础问答(SimpleSkill)提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu
幼儿园老师的风格回答问题。 { "messages": [ { "role": "system", "content": "请用幼儿园老师的口吻回答问题,注意语气温和亲切,通过提问、引导、赞美等方式,激发学生的思维和想象力。"
配置多轮对话能力(Java SDK) 支持上下文记忆的多轮对话。 初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills;
基于已有的知识库,进行摘要总结。有stuff、refine、map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import Embeddings from
vector_api = Vectors.of("css", vector_store_config) # 检索 query = "杜甫的诗代表了什么主义诗歌艺术的高峰?" docs = vector_api.similarity_search(query, 4) # 问答 doc_skill
t-062102") .build()); // 检索 String query = "杜甫的诗代表了什么主义诗歌艺术的高峰?"; List<Document> docs = cssVector.similaritySearch(query, 4
基于已有的知识库进行摘要总结,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud
-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型,参数值为“application/json”。 表3 请求Body参数 参数 是否必选 参数类型 描述 data 是 List<String> 待统计Token数的字符串。List长度必须为奇数。
切割长文本,利用大模型逐步总结,如对会议/报告/文章等总结概述。涉及长文本分割、摘要等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包, pip install pangu_kits_app_dev_py gradio python-docx。 盘古大语言模型。 开发实现
“西南-贵阳一”区域对应的project id。 图1 查看盘古服务区域 图2 获取user name、domain name、project id 下载并安装Postman调测工具。 打开Postman,新建一个POST请求,输入“西南-贵阳一”区域的“获取Token”接口,并填写请求Header参数。
ders”选项,找到并复制“X-Subject-Token”参数对应的值,该值即为需要获取的Token。 图6 获取Token 调用AI助手API 本示例中,通过使用Postman软件调用AI助手API,API的详细请求参数、响应参数介绍请参见AI助手API参数说明。 打开Pos
/etc/hccn.conf,确保有如下回显网卡信息,则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时,需要有一个节点来提供NFS网盘服务,创建部署时通过NFS挂载的方式访问模型。 父主题: 部署为边缘服务
应用开发SDK概述 应用开发SDK针对大模型应用开发场景,对大语言模型进行封装,提供了语言模型、提示词模板、记忆、技能、智能代理等功能模块,简化用户的开发工作,帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言: Python Java 开发环境要求 华为云盘古大模型应用开发SDK要求Python
缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。 创建成功后,可在“模型部署 > 边缘部署”,查看边缘部署列表。 单击“服务名称”可进入服务详情界面。 如果服务部署状态为“部署失败”,可单击服务操作列的“启动”按钮,重新部署。 父主题: 部署为边缘服务
返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其他地址,使用GET和POST请求查看。
评估概览:查看此次评估任务的各个规则指标评分情况。 模型结果分析:查看各个模型此次评估任务的基于各个指标的评分情况,以及具体到某条数据的打分情况。 用户可以将此次的评估报告通过导出按钮全部导出至本地存储,文件导出格式为CSV。 图3 评估报告页面 评估日志: 平台支持查看本次模型评估任务的详细日志