检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于边缘部署准备工作与注册边缘资源池节点,按照以下目录结构存放下载文件,注意修改下载文件的命名。其中,docker下的certs证书会自动生成,一般无需修改。 pkgs // 包目录,用户自行命名 docker docker.tgz // docker 二进制文件,要求版本>19
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
配置盘古访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
SDK依赖的配置项主要通过读取llm.properties配置文件;如果配置文件名不为llm.properties,需要在项目中主动设置,方法如下: 在resources路径下,创建llm.properties文件,并根据实际需要配置相应的值。 如果需要自定义配置文件名,可以参考以下代码设置。
SDK) 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下,创建llm.properties文件,并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件: # 建议在业务项目入口处配置 import
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型(盘古-NLP-N2-基础功能模型)和基于
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
模型Agent助手应用开发(Java SDK) 应用介绍 通过模型对复杂任务的自动拆解与外部工具调用执行能力,通过与用户多轮对话,实现会议室预订场景。 环境准备 Java 1.8。 参考安装章节,完成基础环境准备。 盘古大语言模型。 开发实现 创建配置文件llm.properties, 正确配置i
、聊天任务。 图1 服务管理 图2 申请开通服务 登录“我的凭证 > 访问密钥”页面,依据界面操作指引获取Access Key(AK)和Secret Access Key(SK)。下载的访问密钥为credentials.csv文件,包含AK/SK信息。 认证用的ak和sk硬编码到
用量。 通过“服务管理”功能查看调用量:查看具体某个模型的调用总量、调用成功量、调用失败量,且可按时间进行筛选。 通过“运营面板”功能查看调用量:查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。 通过“服务管理”功能查看调用量 登录盘古大模型套件平台。
打分情况。 用户可以将此次的评估报告通过导出按钮全部导出至本地存储,文件导出格式为CSV。 图3 评估报告页面 评估日志: 平台支持查看本次模型评估任务的详细日志。选择评估的模型后,可以查看其从创建开始到任务结束的日志内容,支持下载并保存到本地(log格式)。可通过日志查看报错,调整任务配置重新发起。
207 root密码: CPU架构:aarch64(登录设备,执行arch命令查看) worker bms-panguXXXX CPU:鲲鹏(4*48Core@2.6GHz) 内存:24*64GB DDR4 RAM(GB) 本地磁盘:3*7.68TB NVMe SSD 扩展配置:2*100GE+8*200GE
变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 预览提示词效果 单击“查看效果”按钮,输出模型回复结果,用户可以根据预览效果调整提示词的文本和变量。 父主题: 撰写提示词
<version>2.4.0</version> </dependency> 本地导入 下载SDK包,将pangu-kits-app*.jar文件放在项目目录lib文件夹下(.jar文件放置路径也可以自定义)。 在项目pom.xml中参考以下方式添加依赖。 <dependency>
盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。 调用API时,需要用户网络可以访问公网。 父主题: 使用前必读
使用“能力调测”调用模型 前提条件 使用能力调测调用模型之前,需要进行开通盘古大模型服务操作。 使用“能力调测”调用模型 能力调测通过图形化问答界面,提供了快速访问盘古大模型能力的入口。用户可以通过在“能力调测”页面选择调用基模型或训练后的模型。 训练后的模型需要“在线部署”且状态为“运行中”时,才可以
我是一个旅行规划助理,能够帮助用户查询天气、预订车票,以及查询旅游地的风景人文。 ## 技能 ### 技能-1 1. 通过调用{tool_id}工具,查询目的地的天气信息。 ### 技能-2 1. 能够根据用户需求和偏好,帮助用户规划旅行路线。 2. 能够通过调用{tool_id}工具为用户提供最佳的旅行路线。
模型管理”页面,单击右上角的“模型迁移”。 在“模型迁移”页面,下载用户证书。 图2 下载用户证书 登录环境A的盘古大模型套件平台,在“模型迁移”页面,选择“导出模型”,在导入证书的地方上传环境B下载的证书文件,并选择需要导出的模型和模型导出的obs路径。 图3 导出模型 单击“确定”,导出模型。
的广告文案数据。 模型评估 一个评估数据集内,上传的数据文件数量不得超过100个,单文件大小不得超过1GB,所有文件的总大小不得超过1GB。 数据格式要求 盘古大模型服务支持如下数据,格式要求请参见表3。 表3 盘古数据文件格式要求 数据类型 支持格式 数据样例 是否支持拆分(划分训练集/验证集)