检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 检查开发环境要求，确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 通用文本
常见问题 使用java sdk出现第三方库冲突 当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency
盘古推理SDK简介 推理SDK概述 盘古大模型推理SDK是对REST API进行的封装，通过该SDK可以处理用户的输入，生成模型的回复，从而实现自然流畅的对话体验。 表1 推理SDK清单 SDK分类 SDK功能 支持语言 使用场景 推理SDK 对话问答（多轮对话）（/chat/completions
安装Ascend插件 详情请参考官方文档：https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
部署边缘模型 进入盘古大模型套件平台，进入“模型开发 > 模型部署 > 边缘部署”，单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产，选择部署方式为边缘部署，输入推理实例数（根据边缘资源池的实际资源选择），输入服务名称，单击“立即创建”。 创建成功后，可在“模型部署 >
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同，具体步骤请参考使用API调用模型。 父主题： 部署为边缘服务
边缘部署准备工作 本指南的边缘部署操作以largemodel集群为例，示例集群信息如下表。 表1 示例集群信息 集群名 节点类型 节点名 规格 备注 largemodel controller ecs-edge-XXXX 鲲鹏通用计算型|8vCPUs|29GiB|rc3.2xlarge
注册边缘资源池节点 进入ModelArts服务，选择所需空间。 在左侧列表中单击“边缘资源池”，在“节点”页签中，单击“创建”。 在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型
终端节点 终端节点（endpoint）即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“
获取模型调用API地址 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的
数据保护技术 盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 文本补全：给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮对话
使用API调用模型 用户可以通过API调用盘古大模型服务提供的基模型以及用户训练后的模型。训练后的模型需使用“在线部署”，才可以使用本章节提供的方法进行调用。本章节分别介绍使用Postman调用API和多语言（Java/Python/Go）调用API的方法，仅供测试使用。 前提条件
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础，为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分，具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据
监控安全风险 盘古提供基于主机防护服务HSS的资源和操作监控能力，同时支持CTS审计日志，帮助用户监控自身企业账号下的管理操作。用户可以实时掌握服务使用过程中所产生的各类监控指标。 父主题： 安全
云容器引擎-成长地图 | 华为云 盘古大模型 盘古大模型服务（PanguLargeModels）致力于深耕行业，打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链
调用盘古大模型API 用户可以通过API调用盘古大模型服务的基模型以及用户训练后的模型。训练后的模型只有在使用“在线部署”功能时，才可以使用本章节提供的方法进行调用。本章节将介绍如何使用Postman调用API，仅供测试使用。 前提条件 使用API调用模型前，请先完成盘古大模型服务订购和开通操作
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计
获取API认证鉴权信息（获取Token） 登录“我的凭证 > API凭证”页面，获取user name、domain name、project id。 project id参数需要与盘古服务部署区域一致。例如，盘古大模型部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的
配置盘古访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
