检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理模型资产、推理资产 查看模型资产与模型推理资产 用户购买盘古大模型套件后，可以在“平台管理 > 资产管理”中查看购买的模型资产和模型推理资产。 图1 查看模型资产 图2 查看模型推理资产 续订模型推理资产 模型推理资产到期后，可以进行续订操作。 在“平台管理 > 资产管理 >
选择评估使用的变量数据集和评估方法。 数据集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：根据选择的评估方法，对模型生成结果和预期结果进行比较，并根据算法给出相应的得分。 图3 创建评估 输入评估名称和描述。 图4 输入评估名称
供的方法进行调用。本章节将介绍如何使用Postman调用API，仅供测试使用。 前提条件 使用API调用模型前，请先完成盘古大模型服务订购和开通操作。 使用Postman调用API 获取API请求地址。 在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“
集版本，输出路径，设置名称、描述等信息为可选项。 输出路径默认为系统生成，您也可以自定义输出路径，当前支持覆盖和追加两种方式。 覆盖：清洗后数据覆盖和替换原有数据集内容。 追加：清洗后数据增加到原有数据集路径下。 任务信息填写完成后，单击“下一步”，搭建数据清洗流程。 可以使用预
终端节点 终端节点（endpoint）即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览
发布提示词 通过横向比较提示词效果和批量评估提示词效果，如果找到高质量的提示词，可以将提示词发布至“提示词管理”中。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程名称，跳转工程任务下候选提示词页面。
在左侧导航栏中选择“模型开发 > 模型评估”。 单击界面右上角“创建评估任务”，进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置： 待评估模型：支持选择多个模型版本同时评估，最多选择5个。待评估模型必须符合前提条件。 评估资源：
但会减少内存消耗，且可能提高泛化能力。因此，批大小需要根据数据集的规模和特点，以及模型的复杂度和性能进行调整。同时，批大小还与学习率相关。学习率是指每次更新参数时，沿着梯度方向移动的步长。一般来说，批大小和学习率成正比。如果批大小增大，学习率也相应增大；如果批大小减小，那么学习率也应减小。
开通盘古大模型服务 盘古大模型具备文本补全和多轮对话能力，用户在完成盘古大模型套件的订购操作后，需要开通大模型服务，才可以调用模型，实现与模型对话问答。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”，在相应服务的操作列单击“查看详情”，可在服务列表中申请需要开通的服务。
体验盘古驱动的应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集，用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前，请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台，在左侧导航栏中选择“应用百宝箱”，进入“应用百宝箱”页面。
体验盘古驱动的应用百宝箱 应用百宝箱是盘古大模型为用户提供的便捷AI应用集，用户可在其中使用盘古大模型预置的场景应用和外部应用，轻松体验大模型开箱即用的强大能力。 体验盘古预置模型能力前，请先完成申请体验盘古大模型服务操作。 登录盘古大模型套件平台，在左侧导航栏中选择“应用百宝箱”，进入“应用百宝箱”页面。
配置盘古访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理
横向比较提示词效果 将设置为候选的两个提示词横向比较，获取提示词的差异性和效果。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > 提示词工程”，进入提示词工程页面。 在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务名称，跳转工程任务下候选提示词页面。 图1
在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面，获取项目ID（project_id），以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时，获取的项目id需要与盘古服务部署区域一致，例如盘古大模型当前部署在“西南-贵阳一”区域，需要获取与贵阳一区域的对应的项目id。
低业务违规风险。 授权使用华为云内容审核，有效拦截大模型输入输出的有害信息，保障模型调用安全。 授权后，在调用盘古大模型能力时，模型的输入和输出将分别调用一次内容审核服务，该服务为付费项，用户可按需购买。 若不使用，您也可以自行对接第三方内容审核服务。关于大模型生成内容的责任主体，请参考《盘古大模型服务协议》。
池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于N2的模型（盘古-NLP-N2-基模型、盘古-NLP-N2-基础功能模型、盘古-NLP-N2-SQL模型、盘古-NLP-N2-Agent
填写AI助手的描述，如填写功能介绍。 指令 通过指令可以设定A助手的行为和响应。如设置AI助手可以扮演的角色、指定可以访问的工具、设置结果的输出风格等。 模型配置 嵌入模型 用于对AI助手进行任务规划、工具选择和生成回复。 模型版本 选择与“嵌入模型”对应的版本。例如，嵌入模型为N2系列，则模型版本也为N2。
登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
的模型和模型导出的obs路径。 图3 导出模型 单击“确定”，导出模型。 模型导出成功后，可以在obs中查看导出后的模型文件。下载该obs文件，上传到环境B对应的obs桶中。 登录环境B的盘古大模型套件平台，在“模型迁移”页面，选择“导入模型”，输入模型对应的obs地址和模型名称后，单击“确定”，启动导入模型任务。
选择需要进行压缩的模型执行模型压缩，压缩策略为“INT8”。当压缩模型为N2基础功能模型，或是经有监督微调训练和RLHF训练后的N2模型，支持选择“低消耗模式”，减少推理资源的消耗。 图2 创建压缩任务 输入任务名称和描述，单击“立即创建”，即可下发压缩模型任务。模型压缩任务完成后，可以使用压缩后的模型进行部署操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
