检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古预测大模型能力与规格 盘古预测大模型是面向结构化数据,通过任务理解、模型推荐、模型融合技术,构建通用的预测能力。 ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。
文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分析结构化数据,包括:xlsx、xls、csv格式。 无论是文本文档、演示文稿,还是电子表格文件,用户都可以轻松地将数据导入知识库,无需额外的转换或格式处理。
通过语种识别模型得到图文对的文本语种类型,“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值,如果超过则去重。 图片去重 通过把图片结构化处理后,过滤重复的图片/图文对数据。 数据打标 图片鉴黄评分 对图片的涉黄程度进行评分,
盘古工作空间介绍 工作空间功能旨在为用户提供灵活、高效的资产管理与协作方式。平台支持用户根据业务需求或团队结构,自定义创建独立的工作空间。 每个工作空间在资产层面完全隔离,确保资产的安全性和操作的独立性,有效避免交叉干扰或权限错配带来的风险。用户可以结合实际使用场景,如不同的项目
大模型开发基本流程介绍 大模型(Large Models)通常指的是具有海量参数和复杂结构的深度学习模型,广泛应用于自然语言处理(NLP)等领域。开发一个大模型的流程可以分为以下几个主要步骤: 数据集准备:大模型的性能往往依赖于大量的训练数据。因此,数据集准备是模型开发的第一步。
若您的无监督文档中含标题、关键词、简介等结构化信息,可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx,生成一段不少于xx个字的文本。”,将回答设置为符合要求的段落。 续写:根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息,可以将有监督的问题设置
中文里的形容词+名词结构需要加“的”,少了“的”模型有时候会难以理解。例如,真实场景,它可能理解为truth situation而不是true situation。 搭结构 提示词的结构需要尽可能直观,不要将指令、上下文、说明等内容放在一行输入,适当的换行将提示词的内容结构拆分体现出来。
200”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Content-Type对应,传递除响应消息头之外的内容。 接口调用成功后将返回如下响应体。 { "id":
与模型在训练过程中接触过的样本数据相似时,模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据,逐渐建立起对特定模式、结构和语言的理解,因此,提示词中包含的关键词、句式和语境如果与训练数据中的模式接近,模型能够“回忆”并运用已学习的知识和指令。 不同模型间效果差异。
你的回复“需要简洁精炼”、“仅包括最重要的信息”或“专注于主要结论”。 若希望模型输出遵循特定格式,可以在提示词中明确格式要求,或使用占位符和模板结构,让模型填充内容。例如: 请按照以下格式输出: 判断原因:xxx 最终结论:xxx 父主题: 提示词工程类
工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题: 数据集清洗算子介绍
据报错。 服务端返回的json数据不符合json反序列化的规则,和sdk定义的数据结构不一致,导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。 SDK运行报错 java.lang.NoClassDefFoundError:
归分类数据不要求数据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序 csv 数据为结构化数据,包含列和行,每一行表示一条数据,每一列表示一个特征,并且必须包含预测目标列,预测目标列要求为连续型数据。 目录下只有1个数据文件时,文件无命名要求。
向的意识形态。通过内容审核模块过滤违法及违背社会道德的有害信息。 模型安全:通过模型动态混淆技术,使模型在运行过程中保持混淆状态,有效防止结构信息和权重信息在被窃取后暴露。 系统安全:通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全,增强自身防护能力,以抵御外部安全攻击。
Studio大模型开发平台的空间资产中,包括数据和模型两类资产。这些资产为用户提供了集中管理和高效操作的基础,便于用户实现统一查看和操作管理。 数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删除等管理操作,使用户能
微调阶段:在预训练模型的基础上,微调利用特定领域的数据进一步优化模型,使其更好地满足实际任务需求。例如,区域海洋要素预测的微调是在已有模型上添加最新数据,不改变模型结构参数或引入新要素,以适应数据更新需求。 在实际流程中,通过设定训练指标对模型进行监控,以确保效果符合预期。在微调后,评估用户模型,并进行最
关注通用性:预训练旨在让模型学习广泛的通用知识,建立词汇、句法和语义的基础理解。通过大规模的通用数据训练,模型可以掌握丰富的语言模式,如语言结构、词义关系和常见的句型。 使用大规模通用数据:通常使用海量的无监督数据(如文本语料库、百科文章),这些数据覆盖广泛的领域和语言表达方式,帮助模型掌握广泛的知识。
单击“任务发布”页签,可对用户自行发布的数据集执行以下操作: 查看基本信息。单击具体数据资产,可查看资产的配比详情、数据详情等基本信息。 发布至Gallery。单击操作列的“发布至Gallery”,可发布数据资产至AI Gallery。 查看发布信息。单击“查看发布信息”,查看该资产的发布信息(该操作需提前发布该数据资产至AI
览、数据血缘以及操作记录。 在“基本信息”页签可查看数据集的详细信息。 在“数据预览”页签可查看发布后的数据内容。 在“数据血缘”页签查看该数据集所经历的操作,如导入、合成等操作。 在“操作记录”页签可以查看数据集所经历的操作及状态等信息。 单击操作列的“删除”,可删除不需要的数据集。
在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。 父主题: 开发盘古大模型提示词工程