检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署专业大模型 创建专业大模型部署任务 查看专业大模型部署任务详情 管理专业大模型部署任务 父主题: 开发盘古专业大模型
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题: 开发盘古NLP大模型
操作步骤 说明 步骤1:获取文本翻译服务Token与调用地址 本样例场景实现文本翻译服务Token与调用地址的获取。 步骤2:创建并配置多语言文本翻译插件 本样例场景实现多语言文本翻译插件的创建与配置。 步骤1:获取文本翻译服务Token与调用地址 在创建多语言文本翻译工作流的实践中,
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径。在“我的服务”页签,单击状态为“运行中”的模型名称,在“详情”页签,可获取模型调用路径,如图1。 图1 获取已部署模型的调用路径 获取预置服务的调用路径。在“预置服务”页签中,选择
部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情,包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。 管理NLP大模型部署任务 调用NLP大模型 使用“能力调测”调用NLP大模型
使用API调用科学计算大模型 预置模型或训练后的模型部署成功后,可以使用API调用科学计算大模型。 获取调用路径 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径。在“我的服
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题: 开发盘古科学计算大模型
使用“能力调测”调用NLP大模型 能力调测功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。 使用“能力调测”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下: 登录ModelArts
定义了在预处理数据时,能够同时处理文件的并行进程数量。设定这个参数的主要目的是通过并发处理来加速数据预处理,从而提升训练效率。 数据配置 训练数据 选择训练模型所需的数据集。 资源配置 训练单元 创建当前训练任务所需的训练单元数量。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。
自定义插件:为了满足更个性化的需求,平台允许开发者创建自定义插件,支持将API通过配置方式快速创建为插件,并供Agent调用。这样,开发者可以根据特定需求为应用增加专属功能。 父主题: 创建与管理插件
在“创建训练任务”页面,参考表1完成训练参数设置。 其中,“数据配置”展示了各训练数据涉及到的全部参数,请根据具体前端页面展示的参数进行设置。 表1 科学计算大模型中期天气要素预测微调训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。
左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息,单击“下一步”。 配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组,单击“创建用户”,完成IAM用户的创建。
在Agent开发平台上,用户可以构建两种类型的应用: 知识型Agent:以大模型为任务执行核心,适用于文本生成和文本检索任务,如搜索问答助手、代码生成助手等。用户通过配置Prompt、知识库等信息,使得大模型能够自主规划和调用工具。 优点:零代码开发,对话过程智能化。 缺点:大模型在面对复杂的、长链条的流程
其中,“训练参数”展示了各场景涉及到的全部参数,请根据具体前端页面展示的参数进行设置。 表1 CV大模型微调参数说明 参数分类 训练参数 说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“CV大模型”。 训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集
工作流场景的流程型Agent,如金融分析助手、网络检测助手等。 知识型Agent:以大模型为任务执行核心,用户通过配置Prompt、知识库等信息,实现工具自主规划与调用,优点是可零码开发,对话过程更为智能,缺点是当大模型受到输入限制,难以执行链路较长且复杂的流程。 流程型Agen
使用“能力调测”调用科学计算大模型 能力调测功能支持用户调用预置或训练后的科学计算大模型。使用该功能前,请完成模型的部署操作,步骤详见创建科学计算大模型部署任务。 使用“能力调测”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球
准备工作 请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 使用“能力调测”功能 调用API接口 “能力调测”功能支持用户直接调用已部署的预置服务,使用步骤如下: 登录ModelArts
Map<String, Object> 用户提出的问题,作为运行工作流的输入,与工作流开始节点输入参数对应。 plugin_configs 否 List<PluginConfig> 插件配置,当工作流有配置用户自定义插件节点时,可能需要配置鉴权信息等,具体结构定义详见表4。 表4 PluginConfig参数
”,进入配置合成指令页面。 选择变量标识符为“双大括号{{}}”,输入指令为“请以{{topic}}为主题,写一篇字数不超过{{num}}的散文。” 单击“确定”,再单击“确定”。 图2 配置指令 按照表1进行变量配置。 表1 数据指令变量配置 变量类型 变量名称 变量类型 变量描述