检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同时拥有添加、移除所在空间成员以及编辑所在空间成员角色的权限。 模型开发工程师 可以执行模型开发工具链模块的所有操作,但是不能创建或者删除计算资源,也不能修改所在空间本身。 应用开发工程师 应用开发工程师具备执行应用开发工具链模块所有操作的权限,其余角色不具备。 标注管理员 拥有权限如下:
盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费,训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
因此在购买之前,您必须确保账户余额充足。 按需计费是一种后付费模式,即先使用再付费,按照实际使用时长计费。 在购买后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见变更计费模式。 计费项 盘古大模型的计费项由模型订阅、数据资源、训练资源和推理资源费用组
变量定义区域展示的是整个工程任务下定义的变量信息,候选提示词中关联的变量也会进行展示,候选提示词相关操作请参见设置候选提示词。 同一个提示词工程中,定义的变量不能超过20个。 在“模型”区域,单击“设置”,设置提示词输入的模型和模型参数。 图4 模型设置 父主题: 撰写提示词
操作步骤 说明 步骤1:创建应用 本样例场景实现应用的创建。 步骤2:配置提示词 本样例场景实现应用中的提示词配置。 步骤3:添加预置插件 本样例场景实现应用的插件配置。 步骤4:配置对话体验 本样例场景实现应用的对话体验配置。 步骤5:调试应用 本样例场景实现应用的调试。 步骤1:创建应用
请求头已默认填好“Content-Type”、“application/json”,单击“下一步”。 图7 配置插件信息 配置参数信息,如图8。 图8 配置参数信息 配置完成后,单击“确定”,完成多语种翻译插件的创建。 父主题: 附录
熊爪面包:松软可口,回味无穷! 【必看】这款熊爪面包,松软得让人欲罢不能! 熊爪面包,松软到让你尖叫! 为什么大家都说熊爪面包贼好吃? 熊爪面包,松软的秘密在哪里? 让你欲罢不能的熊爪面包,了解一下! 熊爪面包,松软得让人无法抗拒! 参数的选择没有标准答案,您需要根据任务的实际情况进行调整,以上建议值仅供参考。
1130 2024年11月发布的版本,用于海洋基础要素预测,可支持1个实例部署推理。 Pangu-AI4S-Ocean_24h-3.1.0 2025年1月发布的版本,用于海洋基础要素预测,可支持1个实例部署推理。 Pangu-AI4S-Ocean_Regional_24h-20241130
调试应用的步骤如下: 在页面右上角单击“”,参考表2配置大模型参数。 表2 大模型参数配置 参数 说明 模型选择 选择要使用的大模型,不同的模型效果存在差异。 该模型需提前部署,步骤请参见创建NLP大模型部署任务。 模式选择 用于配置大模型的输出多样性。 包含取值: 精确的:模型的输
压缩NLP大模型 模型在部署前,通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。 平台当前仅可对NLP大模型进行压缩,支持压缩的模型清单请详见《产品介绍》> “模型能力与规格 > 盘古NLP大模型能力与规格”。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
1个推理单元即可部署,4K支持256并发,32K支持256并发。 Pangu-NLP-N1-32K-3.2.36 32K 4K 2025年1月发布的版本,支持32K序列长度训练,4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训,1个推理单元即可部署,4K支持256并发,32K支持256并发。
持INT8、INT4量化压缩。 模型部署:平台提供了一键式模型部署功能,用户可以轻松将训练好的模型部署到云端或本地环境中。平台支持多种部署模式,能够满足不同场景的需求。通过灵活的API接口,模型可以无缝集成到各类应用中。 模型调用:在模型部署后,用户可以通过模型调用功能快速访问模
在“创建评测任务”页面,参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。
2024年10月发布的版本,用于降水预测,支持1个实例部署推理。 Pangu-AI4S-Weather-Precip_6h-3.0.0 2024年12月发布的版本,相较于10月发布的版本模型运行速度有提升,用于降水预测,支持1个实例部署推理。 Pangu-AI4S-Weather-Precip_6h-3
全生命周期的大模型工具链。 ModelArts Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能,以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品,方便地构建自己的模型和应用。
服务端返回的数据格式不符合json格式,导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则,和sdk定义的数据结构不一致,导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。 SDK运行报错 java.lang.N
1个推理单元即可部署,4K支持256并发,32K支持256并发。 Pangu-NLP-N1-32K-3.2.36 32K 4K 2025年1月发布的版本,支持32K序列长度训练,4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训,1个推理单元即可部署,4K支持256并发,32K支持256并发。
详见创建自定义数据合成指令。 指令选择完成后,单击“确定”,并配置指令参数。 如图1,展示了预训练文本类数据集的合成指令参数配置示例,该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例 指令编排完成后,单击右上角“启用调测”,可以对当前编排的指令效果进行预览。
提供准确的预测结果。 应用与部署:当大模型训练完成并通过验证后,进入应用阶段。主要包括以下几个方面: 模型优化与部署:将训练好的大模型部署到生产环境中,可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代:部署后的模型需要持续监控其性能,
用户可以根据需求灵活划分工作空间,实现资源的有序管理与优化配置,确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理,平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置,确保每个用户在其指定的工作空间内,拥有合适的访问与操作权限