检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
阈值：指工具召回的相关性得分的阈值。阈值越高，召回工具的数量越少，但对召回工具的准确性要求更高。 多轮改写模型：对用户的问题进行多次改写，以增加召回内容的多样性。 检索工具数量：指在处理用户问题时，会检索出相关性最高的前N个工具。 历史信息处理策略 设置处理和利用用户历史对话信息的策略。
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
）是集数据管理、模型训练和模型部署于一体的一站式大模型开发与应用平台。平台支持大模型的定制开发，提供全生命周期工具链，帮助开发者高效构建与部署模型，企业可灵活选择适合的服务与产品，轻松实现模型与应用的开发。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
t来进行相关中控逻辑的判断，一般情况下能够满足绝大部分场景的需求。如果针对特别细分的垂域场景，且需要中控逻辑能够取得接近100%准确率的效果，则可以按照需求可以准备对应的中控分类数据。以简单的二分类场景为例，但中控逻辑可以非常复杂，可扩展到多场景分类。二分类的数据示例如下： {"context
训练数据集是用于模型训练的实际数据集。通常，通过创建一个新的数据集步骤，可以生成包含某个特定场景数据的数据集。例如，这个数据集可能只包含用于训练摘要提取功能的数据。然而，在实际模型训练中，通常需要结合多种任务类型的数据，而不仅限于单一场景的数据。因此，实际的训练会混合不同类型的数据。例如，为
创建提示词评估数据集 批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。
营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全
部署边缘模型 进入盘古大模型套件平台，进入“模型开发 > 模型部署 > 边缘部署”，单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产，选择部署方式为边缘部署，输入推理实例数（根据边缘资源池的实际资源选择），输入服务名称，单击“立即创建”。 创建成功后，可在“模型部署 >
分类等。 指标不适用的任务场景 文案创作、聊天等符合要求即可的场景，该类场景的创作型更强，不存在唯一答案。 指标与模型能力的关系 BLEU指标用于评估模型生成句子（candidate）与实际句子（reference）差异的指标。取值范围在0.0到1.0之间，值越高说明模型生成和实际答案匹配度越高。
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同，具体步骤请参考使用API调用模型。 父主题： 部署为边缘服务
C模型，或其衍生模型，使用通用模型或其他模型无法运行。如上例所示，当前的module-version需要配置为“N2_agent_v2”，模型的相关配置需要改为Pangu-NLP-N2-Agent-L0.C模型的地址。 with_prompt参数配置为True，prompt的拼接由Agent托管处理。 父主题： Agent（智能代理）
# 按约定的格式准备prompt文件； # 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例： …… prompts -- default -- documents -- stuff.pt # 配置sdk配置项，指定prompt文件绝对路径，以
应用增强功能”。用户可根据需求自行选择功能模型，输入资源名称，类型选择“边缘部署”，输入需要订购的推理算力，单击“确认订单”。 订购完成后，进入“平台管理 > 资产管理 > 模型推理资产”，可查看订购的边缘部署资产。 父主题： 部署为边缘服务
// 按约定的格式准备prompt文件； // 文档结构和文件名参考提供的系统预置prompts文件 文档结构示例： …… prompts -- default -- documents -- stuff.pt // 配置sdk配置项，指定prompt文件根路径，以
则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。 多样性与一致性 多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间的差异。一致性指相同输入对应的不同输出之间的一致性。 重复惩罚 重复惩罚（repetition_penalty
安装SDK pip直接安装 执行如下命令： pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境，python版本选择3.9。
盘古大模型套件平台支持NLP大模型的训练。不同模型训练所需的数据量和数据格式有所差异，请基于数据要求提前准备训练数据。 数据量要求 自监督训练 在单次训练任务中，一个自监督训练数据集内，上传的数据文件数量不得超过1000个，单文件大小不得超过1GB，所有文件的总大小不得超过200GB。 表1
每个Token代表模型处理和生成文本的基本单位，它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token，并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算，即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化
提供高质量的数据支撑。 支持区域： 西南-贵阳一 创建一个新的数据集 检测数据集质量 清洗数据集 发布数据集 模型开发套件 模型开发套件是盘古大模型的核心组件，提供从模型创建到部署的一站式解决方案。该套件具备模型管理、训练、评估、压缩、部署、推理和迁移等功能，支持模型的自动化评估，确保模型的高性能和可靠性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
