检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
针对不同的任务类型，所需数据量会所有不同。从经验上来说，对于简单的任务，数据量的要求会少一点，如3000到5000条；对于复杂的任务，需要的数据条数更大一些，如2万~10万条。在构造指令微调数据的成本可以接受的情况下，至少准备1万条以上指令微调数据为宜。 数据质量要求： 保证微调数据的正确性，多样性，复杂性。
训练数据集是用于模型训练的实际数据集。通常，通过创建一个新的数据集步骤，可以生成包含某个特定场景数据的数据集。例如，这个数据集可能只包含用于训练摘要提取功能的数据。然而，在实际模型训练中，通常需要结合多种任务类型的数据，而不仅限于单一场景的数据。因此，实际的训练会混合不同类型的数据。例如，为
配置SDK 基础配置项 SDK依赖的配置项主要通过读取llm.properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。
开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https:/
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
基础问答 应用介绍 基础的大语言模型问答场景。涉及模型问答，流式效果等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包， pip install pangu_kits_app_dev_py gradio。 盘古大语言模型。 开发实现 创建配置文件llm.properties，
eployment_id} （/chat/completions在SDK代码中已经进行了设置）。 IAM endpoint需要根据服务所在的区域正确配置，参考帮助文档“终端节点”章节查找。 参考IAM帮助文档，获取账号相关信息。 华为云Gallery托管三方模型 否 Gallery三方托管模型API调用URL。
一次Agent的响应如果涉及到多个任务的分解，往往会执行比较长的时间，此时可以对agent的执行过程进行监听，输出中间步骤。 AgentListener的定义如下： class AgentListener(ABC): """Agent监听，允许对Agent的各个阶段进行处理
AgentAction包含Agent的工具选择、工具执行结果、思考等信息，AgentSessionStatus为一个枚举，包含Agnet的执行状态。建议直接对Agent的run接口的返回进行修改，以控制Agent的行为。如果想控制中间过程，可以对Agent的runStep的返回进行修改。 通过监听终止Agent的执行
从agentSession中取出要调用的工具 final AgentAction currentAction = agentSession.getCurrentAction(); log.info("Agent的状态为{}，不为{}，所以需要调用工具，调用的工具为{}，入参为{}"
-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表3 请求Body参数 参数 是否必选 参数类型 描述 data 是 List<String> 待统计Token数的字符串。List长度必须为奇数。
每个Token代表模型处理和生成文本的基本单位，它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token，并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算，即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化
盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理 > 授权管理”，单击右上角“一键授权”进行授权。
切割长文本，利用大模型逐步总结，如对会议/报告/文章等总结概述。涉及长文本分割、摘要等相关特性。 环境准备 python3.9 及以上版本。 安装依赖的组件包， pip install pangu_kits_app_dev_py gradio python-docx。 盘古大语言模型。 开发实现
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题： 部署盘古大模型
打分模式：当前版本打分模式仅支持基于规则，用户不可选，且暂无人工打分。基于规则打分：使用预置的相似度或准确率打分规则对比模型生成结果与真实标注的差异，从而计算模型指标。 评估数据： 选择已创建并发布的评估数据集。 基本信息： 输入任务的名称和描述。 单击“立即创建”，创建一个模型评估任务。 父主题： 评估盘古大模型
选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。 推理资产 选择“已购资产”。 限时免费：使用免费的推理资源，仅支持部署一个实例。 已购资产：由用户购买的推理资源，实际可用推理单元由购买时的数量决定。
注册边缘资源池节点 进入ModelArts服务，选择所需空间。 在左侧列表中单击“边缘资源池”，在“节点”页签中，单击“创建”。 在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。
终端节点（endpoint）即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览 > 服务列表”中选择需要调用的模型，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
