检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
n，请求头为{"Content-Type":"application/json"}，单击“下一步”。 图7 配置插件信息 配置参数信息，如图8。 图8 配置参数信息 配置完成后，单击“确定”，完成多语种翻译插件的创建。 父主题： 附录
2024年11月发布的版本，用于海洋基础要素预测，可支持1个实例部署推理。 Pangu-AI4S-Ocean_Regional_24h-20241130 2024年11月发布的版本，用于区域海洋基础要素预测，1个训练单元起训及1个实例部署。 Pangu-AI4S-Ocean_Ecology_24h-20241130
性。 模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平
述，单击“确定”，进入配置合成指令页面。 选择变量标识符为“双大括号{{}}”，输入指令为“请以{{topic}}为主题，写一篇字数不超过{{num}}的散文。” 单击“确定”，再单击“确定”。 图2 配置指令 按照表1进行变量配置。 表1 数据指令变量配置 变量类型 变量名称 变量类型
调试应用的步骤如下： 在页面右上角单击，参考表2配置大模型参数。 表2 大模型参数配置 参数 说明 模型选择 选择要使用的大模型，不同的模型效果存在差异。 该模型需提前部署，步骤请参见创建NLP大模型部署任务。 模式选择 用于配置大模型的输出多样性。 包含取值： 精确的：模型的输
请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503
微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
压缩NLP大模型 模型在部署前，通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”，单击界面右上角“创建压缩任务”。
上角“创建插件”。 在“创建插件”页面，填写插件名称与插件描述，单击图片可上传插件图标，单击“下一步”。 在“配置信息”页面，参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。
在“创建评测任务”页面，参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务：选择部署至ModelArts Studio平台的模型进行评测。
在“创建训练任务”页面，参考表1完成训练参数设置。 其中，“数据配置”展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表1 科学计算大模型中期天气要素预测微调训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。
应。 使用该鉴权方式前，请确保有已部署的大模型。 获取APPCode步骤如下： 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 应用接入”，单击界面右上角“创建应用接入”。 在“应用配置”中，选择已部署好的大模型，单击“确定”。 在“应用接入”列表的“APP
全生命周期的大模型工具链。 ModelArts Studio大模型开发平台为开发者提供了一种简单、高效的开发和部署大模型的方式。平台提供了包括数据处理、模型训练、模型部署、Agent开发等功能，以帮助开发者充分利用盘古大模型的功能。企业可以根据自己的需求选取合适的大模型相关服务和产品，方便地构建自己的模型和应用。
2024年10月发布的版本，支持在线推理、能力调测特性，支持1个实例部署推理。 Pangu-AI4S-Weather-Precip_6h-3.0.0 用于降水预测 2024年12月发布的版本，相较于10月发布的版本模型运行速度有提升，支持1个实例部署推理。 Pangu-AI4S-Weather_1h-20241030
adamw是一种改进的Adam优化器，增加了权重衰减机制，有效防止过拟合。 数据配置 训练数据 选择训练模型所需的数据集。 验证数据 若选择“从训练数据拆分”，则需进一步配置数据拆分比例。 若选择“从已有数据导入”，则需选择导入的数据集。 资源配置 训练单元 创建当前训练任务所需的训练单元数量。 订阅提醒
过微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
用户可以根据需求灵活划分工作空间，实现资源的有序管理与优化配置，确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理，平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置，确保每个用户在其指定的工作空间内，拥有合适的访问与操作权限
对预置的模型资产执行以下操作： 查看模型历史版本。在“版本列表”页面，可查看模型的各个版本。 训练、压缩、部署操作。在“版本列表”页面，可对不同版本模型执行训练、压缩或部署操作。单击相应按钮，将跳转至相关操作页面。 查看操作记录。在“操作记录”页面，可查看当前模型的操作记录。 单
提供准确的预测结果。 应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型优化与部署：将训练好的大模型部署到生产环境中，可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代：部署后的模型需要持续监控其性能，
左侧导航窗格中，选择“用户”页签，单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息，单击“下一步”。 配置用户信息时，需要勾选“编程访问”，如果未勾选此项，会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组，单击“创建用户”，完成IAM用户的创建。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
