检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力，在输入框中输入问题，模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。 与云搜索服务的关系 盘古大模型使用云搜索服务CSS，加入检索模块，提高模型回复的准确性、解决内容过期问题。
使用盘古大模型服务前，需要进行一系列准备工作，确保您能够顺利使用盘古大模型服务。 准备工作 申请试用盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间 04 AI一站式流程 通过一站式流程，完成从数据集准备、模型训练、压缩、部署到调用，全面掌握盘古大模型的开发过程。同时，结合应用开发的提示词工程、Agent应
模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平台
说明 步骤1：创建应用 本样例场景实现应用的创建。 步骤2：配置Prompt 本样例场景实现应用中的提示词配置。 步骤3：添加预置插件 本样例场景实现应用的插件配置。 步骤4：配置对话体验 本样例场景实现应用的对话体验配置。 步骤5：调试应用 本样例场景实现应用的调试。 步骤1：创建应用
能力，为大模型训练提供高质量的数据支撑。 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件，提供从模型创建到部署的一站式解决方案。 该工具链具备模型训练、部署、推理等功能，通过高效的推理性能和跨平台迁移工具，模型开发工具链能够保障模型在不同环境中的高效应用。 应用开发工具链
模型。使用该功能前，需完成模型的部署操作，详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度预测能力，在选择好模型后，根据需求选择相应的数据和模型配置信息，模型就会返回相应的预测结果。
在“我的凭证”页面，获取项目ID（project_id），以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时，获取的项目id需要与盘古服务部署区域一致，例如盘古大模型当前部署在“西南-贵阳一”区域，需要获取与贵阳一区域的对应的项目id。 图2 获取项目ID 多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
级模型版本，支持8K训练，4K/32K推理。基于Snt9B3卡可单卡推理部署，此模型版本支持全量微调、LoRA微调、INT8量化、断点续训、在线推理和能力调测特性。单卡部署4K模型版本支持64并发，单卡部署32K模型版本支持32并发。 Pangu-NLP-N1-Chat-128K-20241030
陌生的地方。李晓发现自己穿越到了宋朝。他身处一座繁华的城市，人们穿着古代的服饰，用着他听不懂的语言交谈。他意识到自己真的穿越了。李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言，适应新的生活方式。他开始学习宋朝的礼仪，尝试理解这个时代的文化。在宋朝，李晓遇到了许多有趣的人。
如何将本地的数据上传至平台 ModelArts Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS（对象存储服务），然后通过平台提供的“数据导入”功能，将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下： 上传数据至OBS：将本地数据上传至OBS服务，请详见通过控制台快速使用OBS。
填写输入参数时，deployment_id为模型部署ID，获取方式如下： 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图3 部署后的模型调用路径 若调用预置模型，可在左侧导航栏中选择“模型开发
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8，INT8量化压缩可以显著减小模型的存储大小，降低功耗，并提高计算速度。 登录ModelArts Studio大模型开发平台，进入所需操作空间。
方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录，从而追踪模型的演变过程。同时，平台支持一系列便捷操作，包括模型训练、压缩和部署，帮助用户简化模型开发及应用流程。这些功能有助于用户高效管理模型生命周期，提高资产管理效率。 管理模型资产 登录ModelArts Studio大模型开发平台，进入所需空间。
配置插件 配置插件的步骤如下： 在“高级配置 > 插件”，单击“添加”。 图1 配置插件 在“添加插件”窗口，选择预置插件或个人插件，单击进行添加，最后单击“确定”。若想创建插件可单击右上角“创建插件”，创建插件的步骤请参见创建插件。 图2 添加插件 添加插件后，可在“高级配置”中查看当前已添加的插件。
如何调用REST API 构造请求 认证鉴权 返回结果
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
为什么微调后的盘古大模型的回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
