检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用开发SDK概述 应用开发SDK针对大模型应用开发场景，对大语言模型进行封装，提供了提示词模板、记忆、技能、智能代理等功能模块，简化用户的开发工作，帮助用户快速开发一个大模型应用。当前应用开发SDK支持如下语言： Java Python 开发环境要求 华为云盘古大模型应用开发SDK要求JAVA
模型能力与规格 模型的基础信息 模型支持的区域 模型支持的操作
查看训练任务详情与训练指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 图1 模型训练列表 不同类型的训练方法可支持查看的训练指标有所差异，训练指标和训练方法的关系如下： 表1 训练指标和训练方法对应关系
创建模型评估数据集 在收集评估数据集时，应确保数据集的独立性和随机性，并使其能够代表现实世界的样本数据，以避免对评估结果产生偏差。对评估数据集进行分析，可以帮助了解模型在不同情境下的表现，从而得到模型的优化方向。 在“数据工程 > 数据管理”中创建“评测”类型的数据集作为评估数据集，数据集创建完成后需要执行发布操作。
LLMs（语言模型） LLMs模块用于对大语言模型API的适配封装，提供统一的接口快速地调用盘古、GALLERY三方模型等模型API。 初始化：根据相应模型定义LLM类，如使用盘古LLM为： LLMs.of("pangu")。 from pangukitsappdev.api.llms
型可能无法提供。 通过将大模型与盘古搜索结合，可以有效解决数据的时效性问题。当用户提出问题时，模型先通过搜索引擎获取最新的信息，并将这些信息整合到大模型生成的答案中，从而提供既准确又及时的答案。 登录盘古大模型套件平台，在左侧导航栏中选择“能力调测”。 单击“多轮对话”页签，选择
安装SDK pip直接安装 执行如下命令： pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境，python版本选择3.9。
安装SDK Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
配置SDK 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。
配置SDK 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下，创建llm.properties文件，并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件： # 建议在业务项目入口处配置 import
查看提示词评估结果 评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看评估状态 单击评估名称，进入评估任务详情页，可以查看详细的评估进度。例如，在图2中有10条评估用例，当前已经评估了8条，剩余2条待评估。 图2 查看评估进展 评估完成后，进入“评估
单击数据集名称，进入数据集详情页，查看详细的数据质量。 其中，数据长度按照token长度划分为2K以下、2K-4K、4K-8K等多个区间，用户可以参考模型训练所需数据量与数据格式要求，调整训练数据。 图1 校验数据集质量 表1 健康度校验规则说明 校验项 说明 异常符号校验 数据中不能存在异常字符，异常字符示例如下。
训练数据集创建流程 数据是大模型训练的基础，提供了模型学习所需的知识和信息。大模型通过对大量数据的学习，能够理解并抽象出其中的复杂模式，从而进行精准的预测和决策。在训练过程中，数据的质量和多样性至关重要。高质量的数据能够提升模型对任务的理解，而多样化的数据则帮助模型更好地应对各种
Prompt（提示词模板） 提示词模板模块提供模板格式化、自定义配置、few-shot管理功能。 模板格式化 import com.huaweicloud.pangu.dev.sdk.template.KV; import com.huaweicloud.pangu.dev.sdk
文档摘要 基于已有的知识库，进行摘要总结。有stuff、refine、map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import
Vector Embedding Emebedding模块用于对Emebedding模型API的适配封装，提供统一的接口快速地调用CSS等模型emebedding能力。 初始化：根据相应模型定义Emebedding类，如使用华为CSS Embedding为：Embeddings.of("css");。
Prompt（提示词模板） 提示词模板模块提供模板格式化、自定义配置管理功能。 模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev
文档问答 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory import Embeddings
Vector Embedding Embedding模块用于对Embedding模型API的适配封装，提供统一的接口快速地调用CSS模型embedding能力。 初始化：根据相应模型定义Embedding类。例如，使用华为CSS Embedding为：Embeddings.of(Embeddings
基础问答 基础问答（SimpleSkill）提供基础的对话实现。 初始化。 1 2 3 4 5 6 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.Template
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
