检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过云图说,带您了解华为云 OCR基础课程 介绍文字识别服务的产品、技术指导和使用指南 OCR系列介绍 文字识别服务在计算机视觉的重要性、基本技术和最新进展 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有
配置基础问答能力(Java SDK) 基础问答(SimpleSkill)提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu
running or have been deleted. 推理服务状态异常。 请检查调用API时deploymentId是否正确,并检查模型的部署状态是否存在异常,如果仍无法解决请联系服务技术支持协助解决。 PANGU.3267 qps exceed the limit. QPS超出限制。
模型训练”,单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中,选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中,训练配置选择LLM(大语言模型),训练类型选择有监督训练,根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。
配置多轮对话能力(Java SDK) 支持上下文记忆的多轮对话。 初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills;
配置文档摘要能力(Python SDK) 基于已有的知识库,进行摘要总结。有stuff、refine、map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适合文档较少的场景。 from pangukitsappdev.api.embeddings
配置文档摘要能力(Java SDK) 基于已有的知识库进行摘要总结,包括stuff、refine和map-reduce策略。 Stuff:将所有文档直接填充到prompt中,提给模型处理,适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk
配置多轮对话能力(Python SDK) 支持上下文记忆的多轮对话。 初始化 from pangukitsappdev.skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory
配置知识库 大模型在进行训练时,使用的是通用的数据集,这些数据集没有包含特定行业的数据。通过知识库功能,用户可以将领域知识上传到知识库中,向大模型提问时,大模型将会结合知识库中的内容进行回答,解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
的模型进行开发和应用。 表1 NLP大模型清单 模型类别 模型 token 简介 NLP大模型 盘古-NLP-N1-基础功能模型-32K 部署可选4096、32768 基于NLP-N1-基模型训练的基础功能模型,具备文案生成、多轮对话、实体抽取、翻译、知识问答等大模型通用能力,具有32K上下文能力,可外推至128K。
注册华为账号并开通华为云 注册华为账号并开通华为云 在使用华为云服务之前,您需要先注册华为账号并开通华为云。通过此账号,您可以按需付费,灵活使用所有华为云提供的服务。 进入华为云官网,参考账号注册指导及界面提示信息,完成账号注册。 注册成功后即可自动登录华为云,您需要完成“实名认证
配置盘古访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理
配置AI助手工具 各种功能的API经封装后,将形成一个个工具,AI助手通过大模型来调用不同的工具,实现相应的功能。在创建AI助手前,需要将使用的功能封装为工具。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 工具管理”,单击页面右上角“创建工具”。 图1 工具管理
配置LLMs(Python SDK) LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。 初始化:根据相应模型定义LLM类,如使用盘古LLM为: LLMs.of("pangu")。 from pangukitsappdev
配置Prompt(Java SDK) 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev
安装SDK(Java SDK) Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
版本选择3.9。 在whl包同级目录下,执行如下命令安装: pip install pangu_kits_app_dev_py-2.4.0-py3-none-any.whl 安装可选 安装全部依赖项(2.1.0以前版本需手动安装langchain-openai,命令pip install
配置Prompt(Python SDK) 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from
配置SDK(Java SDK) 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。
配置SDK(Python SDK) 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下,创建llm.properties文件,并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件: # 建议在业务项目入口处配置