检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
搭建边缘服务器集群 执行如下命令，生成docker证书。注意该命令只需执行一次，如果已有相关证书，请跳过该步骤。 bash cluster_install-ascend.sh generate_docker_cert --pkg-path=/home/hilens/pkgs 基于
获取API认证鉴权信息（获取Token） 登录“我的凭证 > API凭证”页面，获取user name、domain name、project id。 project id参数需要与盘古服务部署区域一致。例如，盘古大模型部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project
在调用盘古API前，需要先使用“获取Token”接口，获取Token值，再将Token值传入盘古API的请求header参数中，实现盘古服务在接收到用户的API请求时进行身份验证。 关于Token有效期的详细说明请参见获取IAM用户Token（使用密码）。 获取token步骤如下： 登录“我的凭证
在调用盘古API前，需要先使用“获取Token”接口，获取Token值，再将Token值传入盘古API的请求header参数中，实现盘古服务在接收到用户的API请求时进行身份验证。 关于Token有效期的详细说明请参见获取IAM用户Token（使用密码）。 获取token步骤如下： 登录“我的凭证
模型管理”页面，单击右上角的“模型迁移”。 在“模型迁移”页面，下载用户证书。 图2 下载用户证书 登录环境A的盘古大模型套件平台，在“模型迁移”页面，选择“导出模型”，在导入证书的地方上传环境B下载的证书文件，并选择需要导出的模型和模型导出的obs路径。 图3 导出模型 单击“确定”，导出模型。
获取数据清洗模板 在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，进入“清洗模板”页面，在该页面查看预置的数据清洗模板。
获取Token消耗规则 每个Token代表模型处理和生成文本的基本单位，它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token，并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算，即实际消耗的Token数量乘以Token的单价。为
型当前部署在“西南-贵阳一”区域，需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https:
> Ascend”，并选择加速卡类型。 如果节点没有加速卡，则选择“AI加速卡 > 不使用”。 单击“立即下载”，下载设备证书和Agent固件，并将设备证书与Agent固件分别重命名为license.tgz、hilens-agent.tgz。 父主题： 部署为边缘服务
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取
提示词模板可以在平台“应用开发 > 提示词管理 > 预置提示词”中获取。 图1 获取提示词模板 父主题： 提示词工程
本示例中，通过使用Postman软件获取Token。 登录“我的凭证 > API凭证”页面，获取user name、domain name、project id。 由于Assistant当前部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project id。 图3 获取user name、domain
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token接口说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”，在弹窗中可获取对应模型的API请求地址。 图3 服务概览页面 图4 获取API请求地址 父主题： 使用前必读
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
DK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时， 右侧代码示例会自动完成参数的组装。 图2 设置输入参数 填写输入参数时，deployment_id为模型部署ID，可以在盘古大模型套件平台“服务管理”功能中获取。 图3 服务管理 图4 获取deployment_id
Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig); llm.setCache(Caches
Agent用于工具调用场景，与普通的LLM流式输出相比，区分了文本流与工具流。文本流将输出模型的思考过程和最终结果；工具流将输出工具的调用过程，而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调： from pangukitsappdev.callback.StreamCallbackHandler
Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，当需要访问这些数据时，无需再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 Cache缓存有以下几种操作： 初始化：指定缓存使用哪种存储方式，例如，使用内存型缓存可以设置为memory_cache
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
