检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点 终端节点（endpoint）即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
注册边缘资源池节点 进入ModelArts服务，选择所需空间。 在左侧列表中单击“边缘资源池”，在“节点”页签中，单击“创建”。 在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。
”，或者可以说明已有的信息是什么领域的信息，比如“以上是金融领域的新闻”、“以上是一篇xx领域的xxx文档”。 例如，“结合金融领域相关知识，生成一份调研报告大纲，报告主题是区块链洞察”、“以上是某理财app用户反馈的问题，请提供解决方案。” 人设： 增加人设可以让生成的内容更符合该领域需求。 例如，“假设你是一位银
节点”，在当前设备节点操作列单击“激活”，节点状态将从“未激活”转为“已激活”。 进入“边缘资源池 > 资源池”，单击“创建”。填写资源池名称，选择“ModelArts边缘节点”，在“主控节点”处单击“添加”，选择要添加的主控节点，单击“确定”。 在“工作节点”处单击“添加”，选择要添加的工作节点，单击“确定”。
使用前必读 概述 调用说明 终端节点 基本概念
边缘部署准备工作 本指南的边缘部署操作以largemodel集群为例，示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题： 部署盘古大模型
搭建数据清洗流程 将算子拖拽至“输入”、“输出”之间，即可完成清洗流程的搭建，搭建过程中可以通过“执行节点”功能查看算子对数据的清洗效果。算子功能的详细介绍请参见清洗算子功能介绍。 图3 执行节点 用户配置算子后推荐增加、显示备注信息，用于团队其他成员快速了解算子编排。 图4 增加并显示备注信息
et”两个字段。示例如下： query改写模块：准备对应省略补全任务的数据和对应指代消解任务的数据。 {"context": ["你对李健怎么看 | 音乐诗人李健。请根据以上背景补全以下问题： 喜欢么"], "target": "喜欢李健么"} {"context": ["孩子就是不写作业
资源路径，即API访问路径。从具体API的URI模块获取。 query-string 查询参数，可选，查询参数前面需要带一个“？”，形式为“参数名=参数取值”。 参考终端节点章节获取endpoint，并在接口的URI部分找到resource-path（/v1/{project_id}/deployments/{
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下，例如，对话机器人服务部署的区域为“cn-north-4”，响应消息体中查找“
return_type=int) name、description、principle、input_desc、output_desc和args_schema的定义与说明与静态工具相同。 return_type。为可选参数，如果func为未指
return "x亿人民币"; case "y公司": return "y亿人民币"; case "z公司": return "z亿人民币";
的金桥203会议室。 如果服务是分布式的，需要将session对象在外部持久化。 单步执行 有时并不希望Agent完全自主执行，在某些关键节点，让用户先进行确认，确认后再执行，或者用户对模型的结果有异议或者想法有变化，想对当前结果进行更改。此时可以单步运行Agnet： """ 单步执行Agent，提供干预能力
USER).content(userMessage).build()); } return agentSession; } 单步执行 有时并不希望Agent完全自主执行，在某些关键节点，让用户先进行确认，确认后再执行，或者用户对模型的结果有异议或者想法有变化，想对当前结果进行更改。此时可以单步运行Agent：
temperature 否 Float 用于控制生成文本的多样性和创造力。 取值接近0表示最低的随机性，1表示最高的随机性。一般来说，temperature越低，适合完成确定性的任务。temperature越高，如0.9，适合完成创造性的任务。 temperature参数可以影响
外部知识。 例如，在构造泛化问题的任务中，需要基于原问题改写为相同含义的问题，而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时，模型会认为实体/关键词/场景一致则是相似（在这个例子里实体为手机银行），而不是任务需要的语义级别的相同含义，所以输出内容会发散。
List<PanguChatChunk> panguChatChunks = new ArrayList<>(); Future<HttpResponse> future = httpclient.execute(HttpAsyncMethods.create(httpPost),
LLMParamConfig; // 设置模型参数，temperature为0.9 LLMConfig llmConfig = LLMConfig.builder().llmParamConfig(LLMParamConfig.builder().temperature(0.9).build()).build();
LLMs.of("pangu") 基础问答：基础的模型文本问答（temperature等参数采用模型默认的设置）。 llm_api.ask("你是谁？").answer 自定义参数问答：自定义设置如temperature等参数，获得对应的效果。 from pangukitsappdev.api
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
