检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基础模型功能 & 应用增强功能”。用户可根据需求自行选择功能模型，输入资源名称，类型选择“边缘部署”，输入需要订购的推理算力，单击“确认订单”。 订购完成后，进入“平台管理 > 资产管理 > 模型推理资产”，可查看订购的边缘部署资产。 父主题： 部署为边缘服务
AM用户仅可使用该区域项目中的资源。 图4 设置最小授权范围 完成用户组授权。 图5 完成授权 创建IAM用户，并加入用户组 使用主账号登录IAM服务控制台。 左侧导航窗格中，选择“用户”页签，单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息。 配置用户信息时，需要勾
Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝做更多的事情，因为该请求被设置为拒绝访问，建议直接修改该请求，不要重试该请求。 404 Not Fou 所请求的资源不存在。 建议直接修改该请求，不要重试该请求。
创建模型评估任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击界面右上角“创建评估任务”，进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置： 待评估模型：支持选择多个模
和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
执行命令cat /etc/hccn.conf，确保有如下回显网卡信息，则配置完成。 配置NFS网盘服务。 大模型采用镜像+模型分开的方式部署时，需要有一个节点来提供NFS网盘服务，创建部署时通过NFS挂载的方式访问模型。 父主题： 部署为边缘服务
模型类型 推理资产占有数量 盘古-NLP-N1 系列模型 部署1实例占用0.125个推理单元。 盘古-NLP-N2 系列模型 部署1实例占用0.5个推理单元。 盘古-NLP-N4 系列模型 部署1实例占用1个推理单元。 父主题： 平台资源管理
长文本摘要 场景介绍 切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。 工程实现 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk.llm
主控节点。 在服务器执行如下命令，判断docker是否安装成功。 systemctl status docker 在服务器执行如下命令，判断edge agent是否安装成功。 hdactl info 配置hda.conf配置文件信息（可选） 登录nfs服务节点，执行如下命令： vi
挂知识库（Embedding、向量库）方式提供通用的、标准化的文档问答场景。 工程实现 准备知识库。 获取并安装SDK包。 在配置文件(llm.properties)中配置模型信息。 # 盘古模型IAM 认证信息，根据实际填写 sdk.llm.pangu.iam.url= sdk
inMemory缓存配置缓存窗口数量为3，访问后2s到期 memory_cache = Caches.of("inMemory", CacheStoreConfig(maximum_size=3, expire_after_access=2)) # sql缓存配置缓存窗口数量为3 sql_cache
购买盘古大模型套件 开通盘古大模型服务 开通大模型的文本补全、多轮对话能力。 开通盘古大模型服务 配置授权/创建子用户 配置盘古访问OBS服务权限，多用户使用平台情况下需要创建子用户。 配置盘古访问授权 创建子用户并授权使用盘古 准备训练数据 创建一个新的数据集 创建一个新的数据集，用来管理上传至平台的训练或者评测数据。
Cache Cache缓存是一种临时存储数据的方法，它可以把常用的数据保存在内存或者其他设备中，这样当需要访问这些数据时，就不用再去原始的数据源查找，而是直接从缓存中获取，从而节省时间和资源。 对LLM使用缓存： LLM llm = LLMs.of(LLMs.PANGU, llmConfig);
统计模型调用量 模型调用成功后，有两种方式可以查看模型的调用量。 通过“服务管理”功能查看调用量：查看具体某个模型的调用总量、调用成功量、调用失败量，且可按时间进行筛选。 通过“运营面板”功能查看调用量：查看全部模型访问总数、模型回复时的响应时长、兜底回复比例以及输入/输出token信息。
准备工作 注册华为账号并开通华为云 购买盘古大模型套件 开通盘古大模型服务 配置盘古访问授权 创建子用户并授权使用盘古
prompts -- default -- documents -- stuff.pt # 配置sdk配置项，指定prompt文件绝对路径，以 /home 路径为例 sdk.prompt.path=/home/prompts/default
手可以扮演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。 模型版本 选择与“嵌入模型”对应的版本。例如，嵌入模型为N2系列，则模型版本也为N2。 工具配置 网页搜索 开启网页搜索后，可以通过调用web搜索来解决模型对于事实类问题回答不好的现象。
ns SDK配置：https://{endpoint}/v1/{project_id}/deployments/{deployment_id} （/chat/completions在SDK代码中已经进行了设置）。 IAM endpoint需要根据服务所在的区域正确配置，参考帮助文档“终端节点”章节查找。
顺利完成华为账号注册、购买与开通盘古大模型服务，并有效配置访问权限，确保子用户顺利使用盘古大模型，加速您的业务部署。 计费说明 计费说明 准备工作 注册华为账号并开通华为云 购买盘古大模型套件 开通盘古大模型服务 配置盘古访问授权 创建子用户并授权使用盘古 04 AI一站式流程
环境准备 python3.9 及以上版本。 安装依赖的组件包， pip install pangu_kits_app_dev_py gradio。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam和pangu配置项。信息收集请参考准备工作。 # # Copyright
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
