检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1:6379 华为云RDS 否 host信息。 用户认证信息。 云数据库RDS： https://support.huaweicloud.com/rds/index.html - Mysql 否 host信息。 用户认证信息。 Mysql官网： https://www.mysql.com/
模型训练所需数据量与数据格式要求 盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异，请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中，一个自监督训练数据集内，上传的数据文件数量不得超过1000个，单文件大小不得超过1G
加了企业的运营成本，也影响了用户体验。盘古大模型的引入为这一问题提供了有效解决方案。 盘古大模型通过将客户知识数据转换为向量并存储在向量数据库中，利用先进的自然语言处理技术对用户输入的文本进行深度分析和理解。它能够精准识别用户的意图和需求，即使是复杂或模糊的查询，也能提供准确的响
History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history import SQLMessageHistory
History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式，如内存、DCS（Redis）、RDS（Sql）。 import com.huaweicloud.pangu.dev.sdk.api.memory.config.MessageHistoryConfig;
install gptcache~=0.1.37 pip install redis-om~=0.1.3 pip install pymysql~=1.1.0 pip install SQLAlchemy~=2.0.19 API手册 API手册请参见SDK API 手册。 父主题：
Asia/Shanghai ; # # sdk.memory.rds.url= # sdk.memory.rds.user= # sdk.memory.rds.password= # sdk.memory.rds.poolSize= ################################
= Caches.of("inMemory") # Redis redis_cache = Caches.of("redis") # mysql sql_cache = Caches.of("sql") 更新数据：指向缓存中添加或修改数据，需要指定数据的键值对和结果对象。例如，把
或知识库目进行填写。设置完成后单击“立即创建”进入知识库详情页，上传文档。在详情页会同步展示与AI助手的绑定关系。 图2 上传数据至知识库 当选择“引用知识库”时，需要设置名称、英文名称与描述信息，并选择需要引用的KooSearch知识库。注意英文名称和描述将影响模型检索效果，不
of(Caches.IN_MEMORY); // Redis Cache cache = Caches.of(Caches.REDIS); // mysql Cache cache = Caches.of(Caches.SQL); 更新数据：指向缓存中添加或修改数据，需要指定数据的键值对和结
Asia/Shanghai ; # # sdk.memory.rds.url= # sdk.memory.rds.user= # sdk.memory.rds.password= # sdk.memory.rds.poolSize= ################################
盘古大模型（PanguLargeModels）是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。平台支持大模型的定制开发，提供全生命周期工具链，帮助开发者高效构建与部署模型，企业可灵活选择适合的服务与产品，轻松实现模型与应用的开发。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型
功能总览 功能总览 全部 数据工程套件 模型开发套件 应用开发套件 能力调测 应用百宝箱 数据工程套件 数据工程套件作为盘古大模型的重要组成部分，具备数据获取、清洗、配比和管理等功能。该套件能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。 通过提供自动化的质量检测
一份高质量的数据应具备以下几类特征： 数据与目标任务一致：微调数据应该与微调任务的目标和分布保持一致，反映出任务的实际要求。比如，现在需要微调一个情感分类的模型，模型只需要回复“消极”或者“积极”： 情感分类场景-典型低质量数据：数据中存在与目标任务不一致的样本。 {"context":
约束与限制 受技术等多种因素制约，盘古大模型服务存在一些约束限制。 每个模型请求的最大Token数有所差异，详细请参见模型的基础信息。 模型所支持的训练数据量、数据格式要求请参见《用户指南》“准备盘古大模型训练数据集 > 模型训练所需数据量与数据格式要求”。
盘古大模型套件使用流程 盘古大模型套件平台是一款功能强大、集成度高的大模型开发与应用平台。该平台全面支持大模型的数据管理、清洗与配比，涵盖预训练与微调功能。此外，平台还提供了强大的模型部署、评估与调用功能，确保模型能够在生产环境中高效应用。平台支持提示词工程、AI助手及SDK开发
搜索增强 场景介绍 私有化场景下，大模型需要基于现存的私有数据提供服务。通过外挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM
和问题无关的工具太多，影响模型的判断。 通过Tool Retriever可以解决上述问题，其原理是在Agent运行前，先从所有可用的工具中选择与问题最相关的工具，再交给Agent去处理。 定义一个Tool Retriever： from pangukitsappdev.tool.in
检测数据集质量 数据集创建成功后，平台将对数据集中的数据进行质量校验，并给出健康度评分、合规度评分与数据长度分布。 检测数据集质量 在“数据工程 > 数据管理”页面，选择“我的数据集”或者“训练数据集”页签。 单击数据集名称，进入数据集详情页，查看详细的数据质量。 其中，数据长度
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
