检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建科学计算大模型部署任务 平台支持部署训练后的模型或预置模型，操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”，单击界面右上角“创建部署”。 在“创建部署”页面，参考表1完成部署参数设置。 表1 科学计算大模型部署参数说明
访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials.csv文件，包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
Token认证：通过Token认证调用请求。 AppCode认证：当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可通过AppCode认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 Token认证
调试应用的步骤如下： 在页面右上角单击，参考表2配置大模型参数。 表2 大模型参数配置 参数 说明 模型选择 选择要使用的大模型，不同的模型效果存在差异。 该模型需提前部署，步骤请参见创建NLP大模型部署任务。 模式选择 用于配置大模型的输出多样性。 包含取值： 精确的：模型的输
用户提出的问题，作为运行工作流的输入，与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置，当工作流有配置用户自定义插件节点时，可能需要配置鉴权信息等，具体结构定义详见表4。 表4 PluginConfig参数 参数 是否必选 参数类型 描述 plugin_id
本样例场景实现文本翻译服务Token与调用地址的获取。 步骤2：创建并配置多语言文本翻译插件 本样例场景实现多语言文本翻译插件的创建与配置。 步骤1：获取文本翻译服务Token与调用地址 在创建多语言文本翻译工作流的实践中，需要调用华为云文本翻译服务API，调用前需获取文本翻译服务的Token，获取Token步骤如下：
单元默认采用包周期计费，数据智算单元、数据通算单元默认采用按需计费，训练单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
opened API. 账号未开通该API服务。 请确认是否已开通该API服务。 PANGU.3308 The accessed API does not match the existing API. 访问的API与已开通的API服务不匹配。 请确认调用的API是否填写错误。 PANGU
org/project/rouge-score/）进行问答对的过滤。 下表列举了该场景常见的数据质量问题，以及相对应的清洗策略，供您参考： 表1 微调数据问题与清洗策略 序号 数据问题 清洗步骤与方式 1 问题或回答中带有不需要的特定格式内容或者时间戳等。 通过编写代码、正则表达式等进
在“高级配置”中配置提示词。单击“确定”，完成参数配置。 图6 意图识别节点参数配置 配置“提示器”节点。 鼠标拖动左侧“提问器”节点至编排页面，并连接“意图识别”的“文本翻译”意图节点与该节点，单击该节点进行配置。 在“参数配置”中，配置输入参数，如图7。 图7 配置输入参数 配置输出参数。如图8，单击“引用插件
微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 4K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。经过认证的请求总是需要包含一个签名
在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径。在“我的服务”页签，单击状态为“运行中”的模型名称，在“详情”页签，可获取模型调用路径，如图1。 图1 获取已部署模型的调用路径 获取预置服务的调用路径。在“预置服务”页签中，选择所需调用的NLP大模型，单
过微调之后，才可支持推理部署。 Pangu-NLP-N2-Chat-32K-20241030 32K 2024年10月发布版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，4个推理单元即可部署。此模型版本差异化支持预训练特性、INT8量化特性。
URL对应的IP默认不应为内网，否则会导致注册失败。仅在非商用环境部署时，才允许支持内网URL，且需要通过相关的服务的启动配置项关闭内网屏蔽。 请求方法 插件服务的请求方式，POST或GET。 鉴权校验 插件服务的鉴权方式，支持以下三种： 无需鉴权：不使用鉴权时会存在安全风险。
可以在平台部署后参考如下参数调试： 表3 推理核心参数设置 推理参数 设置值 最大Token限制（max_token） 4096 温度（temperature） 0.3 核采样（top_p） 1.0 话题重复度控制（presence_penalty） 0 部署推理服务后，可以采用
adamw是一种改进的Adam优化器，增加了权重衰减机制，有效防止过拟合。 数据配置 训练数据 选择训练模型所需的数据集。 验证数据 若选择“从训练数据拆分”，则需进一步配置数据拆分比例。 若选择“从已有数据导入”，则需选择导入的数据集。 资源配置 训练单元 创建当前训练任务所需的训练单元数量。 订阅提醒
单击画布中的开始节点以打开节点配置页面。 开始节点的参数默认已配置，不支持修改开始节点的参数。 图1 开始节点配置图 步骤3：配置大模型节点 大模型节点提供了使用大模型能力，可在节点中配置已部署的模型，用户可以通过编写Prompt、设置参数让模型处理相应任务。 大模型节点为可选节点，若无需配置，可跳过该步骤。
性。 模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平
用户可以根据需求灵活划分工作空间，实现资源的有序管理与优化配置，确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理，平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置，确保每个用户在其指定的工作空间内，拥有合适的访问与操作权限
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
