检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装SDK pip直接安装 执行如下命令： pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境，python版本选择3.9。
清洗数据集（可选） 清洗算子功能介绍 获取数据清洗模板 创建数据集清洗任务 父主题： 准备盘古大模型训练数据集
安装SDK Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
配置SDK 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。
配置SDK 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下，创建llm.properties文件，并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件： # 建议在业务项目入口处配置 import
训练数据集创建流程 数据是大模型训练的基础，提供了模型学习所需的知识和信息。大模型通过对大量数据的学习，能够理解并抽象出其中的复杂模式，从而进行精准的预测和决策。在训练过程中，数据的质量和多样性至关重要。高质量的数据能够提升模型对任务的理解，而多样化的数据则帮助模型更好地应对各种
Prompt（提示词模板） 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev.sdk
文档摘要 基于已有的知识库，进行摘要总结。有stuff、refine、map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import
Vector Embedding Emebedding模块用于对Emebedding模型API的适配封装，提供统一的接口快速地调用CSS等模型emebedding能力。 初始化：根据相应模型定义Emebedding类，如使用华为CSS Embedding为：Embeddings.of("css");。
Prompt（提示词模板） 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev
文档问答 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import Embeddings
Vector Embedding Embedding模块用于对Embedding模型API的适配封装，提供统一的接口快速地调用CSS模型embedding能力。 初始化：根据相应模型定义Embedding类。例如，使用华为CSS Embedding为：Embeddings.of(Embeddings
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
基础问答 基础问答（SimpleSkill）提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
基础问答 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain.prompts
安装Ascend插件 详情请参考官方文档：https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
文档问答 基于已有的知识库进行回答，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
文档摘要 基于已有的知识库进行摘要总结，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs;
History History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
