检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”，单击界面右上角“创建压缩任务”。
running or have been deleted. 推理服务状态异常。 请检查调用API时deploymentId是否正确，并检查模型的部署状态是否存在异常，如果仍无法解决请联系服务技术支持协助解决。 PANGU.3267 qps exceed the limit. QPS超出限制。
在“创建评测任务”页面，参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务：选择部署至ModelArts Studio平台的模型进行评测。
在“创建训练任务”页面，参考表1完成训练参数设置。 其中，“数据配置”展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表1 科学计算大模型中期天气要素预测微调训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。
Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭
全生命周期的大模型工具链。 ModelArts Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能，以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品，方便地构建自己的模型和应用。
adamw是一种改进的Adam优化器，增加了权重衰减机制，有效防止过拟合。 数据配置 训练数据 选择训练模型所需的数据集。 验证数据 若选择“从训练数据拆分”，则需进一步配置数据拆分比例。 若选择“从已有数据导入”，则需选择导入的数据集。 资源配置 训练单元 创建当前训练任务所需的训练单元数量。 订阅提醒
过微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
提供准确的预测结果。 应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型优化与部署：将训练好的大模型部署到生产环境中，可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代：部署后的模型需要持续监控其性能，
组成工作流的基本单元。平台支持多种节点，包括开始、结束、大模型、意图识别、提问器、插件、判断、代码和消息节点。 创建工作流时，每个节点需要配置不同的参数，如输入和输出参数等，开发者可通过拖、拉、拽可视化编排更多的节点，实现复杂业务流程的编排，从而快速构建应用。 工作流方式主要面向
output TaskOutputDto object 输出数据的信息。 config TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto
在Agent开发平台上，用户可以构建两种类型的应用： 知识型Agent：以大模型为任务执行核心，适用于文本生成和文本检索任务，如搜索问答助手、代码生成助手等。用户通过配置Prompt、知识库等信息，使得大模型能够自主规划和调用工具。 优点：零代码开发，对话过程智能化。 缺点：大模型在面对复杂的、长链条的流程
为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。
为什么微调后的盘古大模型的回答会异常中断 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果不完整，出现了异常截断。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“最大Token限制”参数的设置，适当增加该参数的值，可
附录 状态码 错误码 获取项目ID 获取模型部署ID
其中，“训练参数”展示了各场景涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表1 预测大模型微调参数说明 参数分类 训练参数 说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“预测大模型”。 训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集
调用说明 盘古大模型提供了REST（Representational State Transfer）风格的API，支持您通过HTTPS请求调用，调用方法请参见如何调用REST API。 调用API时，需要用户网络可以访问公网。 父主题： 使用前必读
开发盘古CV大模型 使用数据工程构建CV大模型数据集 训练CV大模型 部署CV大模型
开发盘古专业大模型 部署专业大模型
程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。 CV大模型选择建议 选择合适的CV大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景，选择合适的模型，从而提高模型的整体效果，详见表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
