检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署预测大模型 创建预测大模型部署任务 查看预测大模型部署任务详情 管理预测大模型部署任务 父主题: 开发盘古预测大模型
部署专业大模型 创建专业大模型部署任务 查看专业大模型部署任务详情 管理专业大模型部署任务 父主题: 开发盘古专业大模型
压缩NLP大模型 模型在部署前,通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。 当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”,单击界面右上角“创建压缩任务”。
部署NLP大模型 创建NLP大模型部署任务 查看NLP大模型部署任务详情 管理NLP大模型部署任务 父主题: 开发盘古NLP大模型
output TaskOutputDto object 输出数据的信息。 config TaskConfigDto object 科学计算大模型配置信息。 表3 TaskInputDto 参数 参数类型 描述 type String 存储类型。 data Array of ObsStorageDto
2024年10月发布的版本,支持在线推理、能力调测特性,支持1个实例部署推理。 Pangu-AI4S-Weather-Precip_6h-3.0.0 用于降水预测 2024年12月发布的版本,相较于10月发布的版本模型运行速度有提升,支持1个实例部署推理。 Pangu-AI4S-Weather_1h-20241030
在该框架中,query改写模块、中控模块和问答模块由大模型具体实现,因此涉及到大模型的训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现,也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建,也可以利用外部web搜索引擎。在初步验证大模型效果时,可以假设
在“创建流通任务”页面,选择数据集模态,如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前其他类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
在“创建流通任务”页面,选择数据集模态,如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前气象类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
在“创建流通任务”页面,选择数据集模态,如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前预测类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
部署科学计算大模型 创建科学计算大模型部署任务 查看科学计算大模型部署任务详情 管理科学计算大模型部署任务 父主题: 开发盘古科学计算大模型
应。 使用该鉴权方式前,请确保有已部署的大模型。 获取APPCode步骤如下: 登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 应用接入”,单击界面右上角“创建应用接入”。 在“应用配置”中,选择已部署好的大模型,单击“确定”。 在“应用接入”列表的“APP
度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 表1 API清单 API 功能 操作指导 NLP大模型-文本对话 基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。
在“创建流通任务”页面,选择数据集模态,如“视频 > 仅视频”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前视频类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
删除应用属于高危操作,删除前,请确保该应用不再使用。 导出、导入应用 平台支持导出和导入应用。导出应用时,将同步导出应用关联的插件和工作流等配置。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。
是 TaskOutputDto object 输出数据的信息。 config 是 TaskConfigDto object 科学计算大模型配置信息。 表4 TaskInputDto 参数 是否必选 参数类型 描述 type 是 String 存储类型,取值为obs。 data 是
进入“清洗步骤编排”页面。对于视频类数据集,可选择的清洗算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数,可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创
单击“下一步”,选择发布格式,填写名称,选择数据集可见性,单击“下一步”。 如果评测盘古大模型, 需要在流通数据集时,将数据集格式发布为“盘古格式”。 选择“资源配置”,并单击“确定”。待任务状态为“运行成功”后,单击“启动”,生成“发布数据集”。 父主题: 评测NLP大模型
进入“清洗步骤编排”页面。对于气象类数据集,可选择的清洗算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数,可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创
删除应用属于高危操作,删除前,请确保该工作流不再使用。 导出、导入工作流 平台支持导出和导入工作流。导出工作流时,将同步导出工作流关联的插件等配置。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。