检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Token计算器中选择所需的模型，并输入文本内容后，单击“开始计算”即可统计输入文本的Token数量。 图1 Token计算器 预置模型和已经部署的模型可以使用Token计算器。 父主题： 平台资源管理
PANGUDOC).filePath(filePath).mode("1").build()); // 初始化pangudoc split（通过配置文件指定filePath和mode） DocSplit docPanguSplit = DocSplits.of(DocSplits.PANGUDOC);
lookup("1+1"); 清理数据：删除缓存中的数据。例如，删除对应的缓存数据，可参考以下示例。 // 清理 cache.clear() 配置过期策略：设置缓存有效期，支持基于时间和大小的限制。 // 设置缓存数据10s 后过期 Cache cache = Caches.of(Caches
在“我的凭证”页面，获取项目ID（project_id），以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时，获取的项目id需要与盘古服务部署区域一致，例如盘古大模型当前部署在“西南-贵阳一”区域，需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
project id参数需要与盘古服务部署区域一致。例如，盘古大模型部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图3 查看盘古服务区域 图4 获取user name、domain name、project id 下载并安装Postman调测工具。
服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址。其中，路径选中部分即为模型的部署ID（deployment_id）。 图3 获取API请求地址 父主题： 附录
project id参数需要与盘古服务部署区域一致。例如，盘古大模型部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图3 查看盘古服务区域 图4 获取user name、domain name、project id 下载并安装Postman调测工具。
ovider, vector_config) 定义一个ToolRetriever包含2个参数，一个ToolProvider，一个向量数据库配置。其中，ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider，I
"description")) .build()); 定义一个ToolRetriever包含ToolProvider和向量数据库配置2个参数。其中，ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvid
vector_api.add_docs(bulk_list) 通过vectorStoreConfig判断使用CSS的插件模式和非插件模式。如果配置了embedding模型，则使用非插件模式，否则使用插件模式。注意，在非插件模式下，vectorFields有且只有1个。 父主题： Memory（记忆）
型相比，BI专业大模型更适合执行数据分析、报告生成和业务洞察等任务。 模型推理资产即部署模型所需的cpu、gpu资源（专属资源池）。如果不订购推理资产，可以使用订购的盘古模型进行训练，但无法部署训练后的模型。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即购买”，平台将
创建一个新的数据集 检测数据集质量 清洗数据集 发布数据集 模型开发套件 模型开发套件是盘古大模型的核心组件，提供从模型创建到部署的一站式解决方案。该套件具备模型管理、训练、评估、压缩、部署、推理和迁移等功能，支持模型的自动化评估，确保模型的高性能和可靠性。 通过高效的推理性能和跨平台迁移工具，模
Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。 与云搜索服务的关系 盘古大模型使用云搜索服务CSS，加入检索模块，提高模型回复的准确性、解决内容过期问题。
"project": { "name": "cn-southwest-2" //盘古大模型当前部署在“西南-贵阳一”区域，取值为cn-southwest-2 } } } } Python
体验盘古预置模型能力 体验盘古预置模型能力前，请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台，在左侧导航栏中单击“能力调测”。 如图1，能力调测页面提供了文本补全和多轮对话功能，且每种功能都提供了预置的盘古大模型供用户体验。用户可以在页面右侧进行参数设置，然后在输入
体验盘古预置模型能力 体验盘古预置模型能力前，请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台，在左侧导航栏中单击“能力调测”。 如图1，能力调测页面提供了文本补全和多轮对话功能，且每种功能都提供了预置的盘古大模型供用户体验。用户可以在页面右侧进行参数设置，然后在输入
是华为云推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发与应用平台。平台提供了包括盘古大模型在内的多种大模型服务，支持大模型的定制开发，并提供覆盖全生命周期的大模型工具链。 盘古大模型为开发者提供了一种简单高效的方式来开发和部署大模型。通过数据工程、模型开发和应用开发
推理资产不足，现有资源无法满足同时部署多个模型时，可以扩容模型推理资产。 在“平台管理 > 资产管理 > 模型推理资产”中，单击操作列“扩容”执行扩容操作。 图4 扩容模型推理资产 不同类型的模型在部署时，做占用的推理资产数量存在差异，部署模型时所占的推理资产数量与模型类型关系如下。 表1 部署模型 模型类型
模型基础信息相关 盘古-NLP-N1系列模型支持128K外推。 公测 模型的基础信息 2 模型部署相关 盘古-NLP-N2-基础功能模型-32K模型，LoRA微调后支持4K部署。 公测 部署为在线服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
