检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
实例数 实例数越大，能够同时处理的请求数量越多。 高级配置 选择盘古-NLP-N4系列模型时显示，配置最大Token长度。 服务名称 在线服务的名称。 描述 在线服务的简要描述。 订阅提醒 勾选订阅提醒，并添加手机号/邮箱，系统将在训练任务完成或重要事件发生时，发送提醒。 表2 部署实例量与推理单元数关系
开通盘古大模型服务 盘古大模型具备文本补全和多轮对话能力，用户在完成盘古大模型套件的订购操作后，需要开通大模型服务，才可以调用模型，实现与模型对话问答。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 文本
开通盘古大模型服务 调用模型之前，需要先开通盘古大模型服务。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 文本补全：提供单轮文本能力，常用于文本生成、文本摘要、闭卷问答等任务。 多轮对话：提供多轮文本能力，常用于多轮对话、聊天任务。
iam.ak sdk.iam.sk 认证用的ak和sk。 登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 说明： 认证用的ak
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验，包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型，用户可根据所需提交体验申请，申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。
申请体验盘古大模型服务 盘古大模型为用户提供了五大模型的体验，包括NLP大模型、CV大模型、多模态大模型、预测大模型与科学计算大模型，用户可根据所需提交体验申请，申请通过后才可以体验盘古大模型功能。 登录盘古大模型套件平台。 在服务“总览”页面，单击“立即体验”，平台将跳转至盘古大模型体验申请页面。
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题： 部署盘古大模型
userguide/clusterscheduling/dlug_scheduling_02_000001.html 父主题： 部署为边缘服务
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同，具体步骤请参考使用API调用模型。 父主题： 部署为边缘服务
池的实际资源选择），输入服务名称，单击“立即创建”。 创建成功后，可在“模型部署 > 边缘部署”，查看边缘部署列表。 单击“服务名称”可进入服务详情界面。 如果服务部署状态为“部署失败”，可单击服务操作列的“启动”按钮，重新部署。 父主题： 部署为边缘服务
终端节点（endpoint）即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览 > 服务列表”中选择需要
注册边缘资源池节点 进入ModelArts服务，选择所需空间。 在左侧列表中单击“边缘资源池”，在“节点”页签中，单击“创建”。 在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。
配置SDK(Python SDK) 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下，创建llm.properties文件，并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件： # 建议在业务项目入口处配置
数据保护技术 盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存
盘古NLP大模型的模型订阅服务和推理服务默认采用包周期计费，训练服务则默认采用按需计费。使用周期内不支持变更配置。 欠费 在使用云服务时，如果账户的可用额度低于待结算账单金额，即被判定为账户欠费。欠费可能会影响云服务资源的正常运行，因此需要及时充值。 模型订阅服务和推理服务为预付费，购买后不涉及欠费。
开通API 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 文本补全：给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全。例如让模型依据要求写邮件、做摘要总结、生成观点见解等。 多轮
创建有监督训练任务 创建有监督微调训练任务 登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中，训练配置选择LLM（大语言模型），
cache.clear() 参数解释：用于设置缓存对象的一些基本信息，如过期时间、session_tag等。 expire_after_access: int # 缓存失效策略-基于访问后到期时间（支持inMemeory缓存） expire_after_write: int #
注册华为账号并开通华为云 在使用华为云服务之前，您需要先注册华为账号并开通华为云。通过此账号，您可以按需付费，灵活使用所有华为云提供的服务。 进入华为云官网，参考账号注册指导及界面提示信息，完成账号注册。 注册成功后即可自动登录华为云，您需要完成“实名认证”才可以正常使用服务。具体认证方式请参见实名认证。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
