检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古大模型服务致力于深耕行业,打造多领域行业大模型和能力集。 ModelArts Studio大模型开发平台是盘古大模型服务推出的集数据管理、模型训练、模型部署于一体的综合平台,专为开发和应用大模型而设计,旨在为开发者提供简单、高效的大模型开发和部署方式。平台配备数据工程、模型开发、应用
平台提供了知识库功能来管理和存储数据,支持为应用提供自定义数据,并与之进行互动。 知识库支持导入以下格式的本地文档: 文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分析结构化数据,包括:xlsx、xls、csv格式。
单个文件大小不超过50GB,单个压缩包大小不超过50GB,文件数量最多1000个。 物体检测 PASCAL VOC 由图片文件和对应的标注文件构成,标注文件需要满足PASCAL VOC文件格式。要求用户将标注对象和标注文件存储在同一目录,并且相互对应,如标注对象文件名为“IMG_2.jpg”,那么标注文件的文件名应为“IMG_2
微调场景介绍 盘古科学计算大模型的区域海洋要素模型,可以对未来一段时间海洋要素进行预测。可为海上防灾减灾,指导合理开发和保护渔业等方面有着重要作用。 目前,区域海洋要素模型支持微调、预训练两种操作: 预训练:可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以
TaskConfigDto object 科学计算大模型配置信息。 表4 TaskInputDto 参数 是否必选 参数类型 描述 type 是 String 存储类型,取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表5 ObsStorageDto
导入任务”,单击界面右上角“创建导入任务”。 在“创建导入任务”页面,选择“数据集类型”、“文件格式”和“导入来源”。 单击“”,在“存储位置”弹窗中选择需导入的数据,单击“确定”。 图1 选择导入的数据 填写“数据集名称”和“描述”,可选择填写“扩展信息”。 扩展信息包括“数据集属性”与“数据集版权”:
用户在平台中可试用、已订购或训练后发布的模型,将被视为模型资产并存储在空间资产内,方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录,从而追踪模型的演变过程。同时,平台支持一系列便捷操作,包括模型训练、压缩和部署,帮助用户简化模型开发及应用流程。这些功能有助于用户高效管理模型生命周期,提高资产管理效率。
可选择的要素参考表8中,提供的高空变量和表面变量。 num_ensembles 否 Long 集合数量。在气象预报中,集合预报是指对初始场加入一定程序的扰动,使其生成一组由不同初始场预报的天气预报结果,从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性,从而提高预报的准确性和可靠性。 取值范围:[2
通过基模型训练出行业大模型和提示词写作的最佳实践,您将深入掌握行业模型的定制化流程与高效提示词构建方法,确保在实际应用中充分发挥盘古大模型的行业优势,提升业务效果。 最佳实践 提示词写作实践 Agent应用实践 06 API 通过API文档的概述、NLP大模型API和科学计算大模型API
部署区域中期海洋智能预测服务需要同时选择“区域中期海洋智能预测”和“全球中期海洋智能预测”两个模型。 部署方式 选择“云上部署”。 作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择 “OBS”表示将输出结果存储在OBS中。 作业配置参数 设置模型部署参数信息。 计费模式
特殊符号,比如● █ ◆。 乱码和无意义的字符�����。 特殊空格:[\u2000-\u2009] 自定义正则过滤 删除符合自定义正则表达式的数据。 自定义关键词过滤 剔除包含关键词的数据。 敏感词过滤 对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。 文本长度过滤 按照设
化的客户需求;个性化服务:基于大模型的智能客服能够学习和适应用户的行为模式和偏好,提供更加个性化的服务。 农业 科学计算大模型包括全球中期天气要素模型和降水模型,可以对未来一段时间的天气和降水进行预测,全球中期天气要素模型和降水模型能够在全球范围内进行预测,不仅仅局限于某个地区。
测”。 全球中期天气要素预测模型可以选择1个或者多个模型进行部署。 部署模型 在“从资产选模型”选择所需模型。 部署方式 支持“云上部署”和“边缘部署”,其中,云上部署指算法部署至平台提供的资源池中。边缘部署指算法部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。 部
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和
提示词写作常用方法论 提示工程是一项将知识、技巧和直觉结合的工作,需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系,本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验,总结的一些技巧和方法更为适合基于盘古大模型的提示工程。 本文的方法论及技巧部
INT8:该压缩策略将模型参数压缩至8位字节,可以有效降低推理显存占用。 INT4:该压缩策略与INT8相比,可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后,系统将在本次压缩任务状态变更时,向用户发送短信/邮件提醒。
词并生成相关的输出。这是因为模型通过学习大量的训练数据,逐渐建立起对特定模式、结构和语言的理解,因此,提示词中包含的关键词、句式和语境如果与训练数据中的模式接近,模型能够“回忆”并运用已学习的知识和指令。 不同模型间效果差异。 由于不同厂商采用的训练策略和数据集差异,同一提示词在
PI调用推理接口。 表1 API清单 API 功能 操作指导 NLP大模型-文本对话 基于对话问答功能,用户可以与模型进行自然而流畅的对话和交流。 文本对话 科学计算大模型-气象/降水模型 支持创建推理作业并查询推理作业详情。 气象/降水模型 科学计算大模型-海洋模型 支持创建推理作业并查询推理作业详情。
精度对于农业、交通、能源等领域的决策和规划非常重要。 全球覆盖:全球中期天气要素预测模型和降水模型能够在全球范围内进行预测,不仅仅局限于某个地区。它的分辨率相当于赤道附近每个点约25公里*25公里的空间。 数据驱动:全球中期天气要素预测模型和降水模型使用历史天气数据来训练模型,从
盘古大模型空间资产介绍 在ModelArts Studio大模型开发平台的空间资产中,包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,