检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
求头已默认填好“Content-Type”、“application/json”，单击“下一步”。 图7 配置插件信息 配置参数信息，如图8。 图8 配置参数信息 配置完成后，单击“确定”，完成多语种翻译插件的创建。 父主题： 附录
gap镜像。 npu驱动和固件安装。 执行命令npu-smi info查看驱动是否已安装。如果有回显npu卡信息，说明驱动已安装。 详情请参见昇腾官方文档。 hccn too网卡配置。 执行如下命令，查看是否有回显网卡信息。如果有，则说明网卡已经配置，否则继续操作下面步骤。 cat
单击画布中的开始节点以打开节点配置页面。 开始节点的参数默认已配置，不支持修改开始节点的参数。 图1 开始节点配置图 大模型节点配置说明 大模型节点提供了使用大模型的能力，可在节点中配置已部署的模型，用户可以通过编写Prompt、设置参数让模型处理相应任务。 大模型节点为可选节点，若无需配置，可跳过该步骤。
使用“能力调测”调用科学计算大模型 能力调测功能支持用户调用预置或训练后的科学计算大模型。使用该功能前，请完成模型的部署操作，步骤详见创建科学计算大模型部署任务。 使用“能力调测”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球
操作步骤 说明 步骤1：创建应用 本样例场景实现应用的创建。 步骤2：配置提示词 本样例场景实现应用中的提示词配置。 步骤3：添加预置插件 本样例场景实现应用的插件配置。 步骤4：配置对话体验 本样例场景实现应用的对话体验配置。 步骤5：调试应用 本样例场景实现应用的调试。 步骤1：创建应用
部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情，包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型
获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的请求URI。 图1 部署后的模型调用路径 若调用预置模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“预置服务”页
用户提出的问题，作为运行工作流的输入，与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置，当工作流有配置用户自定义插件节点时，可能需要配置鉴权信息等，具体结构定义详见表4。 表4 PluginConfig参数 参数 是否必选 参数类型 描述 plugin_id
使用“能力调测”调用NLP大模型 能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前，请完成模型的部署操作，步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力，即在输入框中输入问题，模型将基于问题输出相应的回答，具体步骤如下： 登录ModelArts
详见创建自定义数据合成指令。 指令选择完成后，单击“确定”，并配置指令参数。 如图1，展示了预训练文本类数据集的合成指令参数配置示例，该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例 指令编排完成后，单击右上角“启用调测”，可以对当前编排的指令效果进行预览。
是 TaskOutputDto object 输出数据的信息。 config 是 TaskConfigDto object 科学计算大模型配置信息。 表4 TaskInputDto 参数 是否必选 参数类型 描述 type 是 String 存储类型，取值为obs。 data 是
是 TaskOutputDto object 输出数据的信息。 config 是 TaskConfigDto object 科学计算大模型配置信息。 表4 TaskInputDto 参数 是否必选 参数类型 描述 type 是 String 存储类型，取值为obs。 data 是
请检查插件服务是否有问题导致无法连接。 认证鉴权 110000 认证失败。 查看认证配置。 110001 用户信息获取失败。 查看用户信息是否正确配置。 工作流 112501 工作流认证失败。 查看认证配置。 112502 缺少必要参数。 从打印日志可以看出当前缺失何种参数。 112503
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题： 开发盘古NLP大模型
可在选择模型后，根据页面展示的策略进行选择。 INT8：该压缩策略将模型参数压缩至8位字节，可以有效降低推理显存占用。 INT4：该压缩策略与INT8相比，可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后，系统将在本次
在“创建评测任务”页面，参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明 参数分类 参数名称 参数说明 选择服务 模型来源 选择“NLP大模型”。 服务来源 支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务：选择部署至ModelArts Studio平台的模型进行评测。
可选择开启“多人作业”功能，开启后，可选择多人协同完成作业，并增加审核功能可供选择。参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。 标注审核 是否审核 否，标注后不进行审核操作。 是，审核员会检查标
其中，“单轮问答”标注项支持“AI辅助标注”功能，若开启该功能，需要选择已部署的NLP服务作为AI辅助标注模型。 可选择开启“多人作业”功能，开启后，可选择多人协同完成作业，并增加审核功能可供选择。参考表2配置标注分配与审核。 表2 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 标注员 添加标注人员与数量。
于ModelArts Studio大模型开发平台的模型开发中使用。 如果使用该数据集训练盘古大模型，请将选择格式配置为盘古格式。 填写数据集名称、描述，设置扩展信息后，单击“确定”执行数据集发布操作。 当任务状态显示为“运行成功”时，说明数据发布任务执行成功，生成的“发布数据集”可在“数据工程
于ModelArts Studio大模型开发平台的模型开发中使用。 如果使用该数据集训练盘古大模型，请将发布格式配置为盘古格式。 填写数据集名称、描述，设置扩展信息后，单击“确定”执行数据集发布操作。 当任务状态显示为“运行成功”时，说明数据发布任务执行成功，生成的“发布数据集”可在“数据工程
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
