检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CPU:部署需要使用的最小CPU值(物理核)。 内存:部署需要使用的最小内存值。 Ascend:部署使用的NPU数量。 负载均衡:创建负载均衡步骤请详见步骤5:创建负载均衡。 实例数:设置部署模型时所需的实例数。 安全护栏 选择模式 安全护栏保障模型调用安全。 计费模式 当前支持安全护栏基础版,内置了默认的内容审核规则。
CPU:部署需要使用的最小CPU值(物理核)。 内存:部署需要使用的最小内存值。 Ascend:部署使用的NPU数量。 负载均衡:创建负载均衡步骤请详见步骤5:创建负载均衡。 实例数:设置部署模型时所需的实例数。 作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择
说明搭建边缘服务器集群的步骤。 步骤3:安装Ascend插件 说明安装Ascend插件指导。 步骤4:创建证书 说明创建负载均衡所需证书步骤。 步骤5:创建负载均衡 说明创建负载均衡步骤。 ModelArts Studio大模型开发平台当前仅部分模型支持边缘部署,详见《产品介绍》“模型能力与规格”章节。
手动编排应用 Agent平台支持为应用配置插件、工作流技能,支持接入知识库,还可增加应用的对话体验,详见创建与管理插件、编排工作流、创建与管理知识库。 应用编排流程见表1。 表1 应用编排流程 操作步骤 说明 步骤1:创建应用 创建一个新应用。 步骤2:配置提示词 在应用中配置大模型所需的Prompt。
登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 应用接入”,单击界面右上角“创建应用接入”。 在“应用配置”中,选择已部署好的大模型,单击“确定”。 在“应用接入”列表的“APP Code”操作列中可获取APPCode值。 如图3,为Token认证方式的请求Header参数填写示例。
"right_shoulder", "left_elbow", "right_elbow", "left_wrist", "right_wrist"
的重要扩展。通过模块化方式,插件能够为大模型提供更多专业技能和复杂任务处理能力,使其在多样化的实际场景中更加高效地满足用户需求。 通过插件接入,用户可以为应用赋予大模型本身不具备的能力。插件提供丰富的外部服务接口,当任务执行时,模型会根据提示词感知适用的插件,并自动调用它们,从外
登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 应用接入”,单击界面右上角“创建应用接入”。 在“应用配置”中,选择已部署好的大模型,单击“确定”。 在“应用接入”列表的“APP Code”操作列中可获取APPCode值。 AK/SK认证 AK/S
功能限制 盘古大模型服务的功能限制详见表3。 表3 功能限制 功能类型 使用限制 数据工程-数据格式要求 ModelArts Studio平台支持接入的数据需要满足格式要求,包括文件格式、单个文件大小、所有文本大小以及文件数量等,请参考《用户指南》“使用数据工程构建数据集 > 数据集格式要求”。
支持已部署服务、外部服务两种选项。单次最多可评测10个模型。 已部署服务:选择部署至ModelArts Studio平台的模型进行评测。 外部服务:通过API的方式接入外部模型进行评测。选择外部服务时,需要填写外部模型的接口名称、接口地址、请求体、响应体等信息。 请求体支持openai、tgi、自定义三种
使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集,数据集文件内容包括:预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等,不同训练方式所需要使用的数据见表1,该数据集格式要求请参见文本类数据集格式要求。 表1
调用工作流 功能介绍 通过调用创建好的工作流API,输入问题,将得到工作流执行的结果。 URI 获取URI方式请参见请求URI。 POST /v1/{project_id}/agent-run/workflows/{workflow_id}/conversations/{conversation_id}
登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 应用接入”,单击界面右上角“创建应用接入”。 在“应用配置”中,选择已部署好的大模型,单击“确定”。 在“应用接入”列表的“APP Code”操作列中可获取APPCode值。 如图3,为Token认证方式的请求Header参数填写示例。
使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集,该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求
数据工程包含的具体功能如下: 数据获取:数据获取是数据工程的第一步,支持将不同来源和格式的数据导入平台,并生成“原始数据集”。 支持的接入方式:通过OBS服务导入数据。 支持的数据类型:文本、图片、视频、气象、预测、其他。 通过这些功能,用户可以轻松将大量数据导入平台,为后续的数据加工和模型训练等操作做好准备。
lArts Studio大模型开发平台,支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入,确保不同业务场景下的数据获取需求得到满足。 数据加工:平台提供强大的数据加工功能,可以对文本、视频、图片、气