检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全,还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求: Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。 Go
过身份认证,获得操作API的权限。 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 如果您的华为云账号已升级为华为账号,将不支持获取账号Token。建议为您自己创建一个IAM用户,获取IAM用户的Token。 获取Token方法: To
builder”模块中,需要填入prompt指令,单击“示例”,复制角色指令模板。在输入框中粘贴模板,并进行填空。 图1 Prompt builder 单击“智能优化”,在 “Prompt优化”窗口中单击“确定”。 图2 Prompt优化示例 父主题: 手工编排Agent应用
数据标注:对于无标签的数据,平台支持进行标注或重新标注,以提升数据集的标注质量。针对文本和图片类数据集,平台还提供AI预标注功能,利用盘古大模型的智能能力,显著降低人工标注的工作量和成本,从而提高标注效率。 数据评估:平台支持对处理后的数据进行质量评估,生成详细的质量评估报告。这些报告能
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。 登录ModelArts
台迁移工具,模型开发工具链能够保障模型在不同环境中的高效应用。 应用开发工具链 应用开发工具链是盘古大模型平台的关键模块,支持提示词工程和智能Agent应用创建。该工具链提供提示词设计和管理工具,优化大模型的输入提示,提升输出的准确性和相关性。通过丰富的开发SDK,应用开发工具链
压缩盘古大模型 部署盘古大模型 调用盘古大模型 迁移盘古大模型 应用开发工具链 应用开发工具链是盘古大模型平台的关键模块,支持提示词工程和智能Agent应用创建。 该工具链提供提示词设计和管理工具,优化大模型的输入提示,提升输出的准确性和相关性。通过丰富的开发SDK,应用开发工具
通过统一管理空间资产,平台不仅帮助用户高效组织和利用资源,还保障了资产的安全性、一致性与灵活性。这些功能的结合,确保了平台上资源的高效利用与智能配置,为用户提供了更为便捷的开发和管理体验。 父主题: 产品功能
开发盘古大模型提示词工程 开发盘古大模型Agent应用 基于NLP大模型,致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验,都可以通过Agent平台快速创建各种类型的智能体。 开发盘古大模型Agent应用 管理盘古大模型空间资产 管理盘古数据资产
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
HTML内容提取 基于标签路径提取HTML数据内容,并将其他与待提取标签路径无关的内容删除。 电子书内容提取 从电子书中提取出所有文本内容。 智能文档解析 从PDF(支持扫描版)或图片中提取文本,转化为结构化数据,持文本、表格、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中
训练任务名称。 描述 训练任务描述。 表2 科学计算大模型(区域中期海洋智能预测)训练参数说明 参数分类 参数名称 参数说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“科学计算大模型”。 场景 选择“区域中期海洋智能预测”。 训练类型 可根据科学计算大模型适用场景和建议选择“预训练”和“微调”。
其他类数据集格式要求 文件内容 文件格式 文件要求 图片+CV标注 图片+分割标注(图片+xml格式) 要求用户将标注对象和标注文件存储在同一目录,并且一一对应,如标注对象文件名为“IMG_2.jpg”,那么标注文件的文件名应为“IMG_2.xml”。具体示例如下: ├─dataset-import-example
此示例演示了如何快速创建图片Caption数据标注任务。您将学习如何设置任务参数、配置标注要求并进行标注。 准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。
通过使用加工算子,您可以提取、转换、过滤原始数据,生成适合大模型训练的数据集。 准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。
创建原始数据集 创建原始数据集前,请先按照数据集格式要求提前准备数据。如果需要使用OBS服务导入数据,请详见通过控制台快速使用OBS。 在使用OBS服务上传数据时,如果遇到网络报错“NET::ERR_CERT_AUTHORITY_INVALID”,是由于域名未绑定有效的SSL
JSON,包含“context”和“target”两个字段。示例如下: {"context": "今天是2023-11-20,你是一个银行智能助理,现在需要根据用户问题、指标-解释表、参数-类型-解释表,生成符合要求格式的json。\n\n请学习并记住以下背景知识:\n1.jso
[%s] support. 数据集中的内容不支持,请保证上传的数据格式与平台要求的一致。 get obs bucket folders error. 请检查OBS服务是否正常,是否可以访问OBS桶数据。 数据加工 The task operator not exist. 执行数据加工使
盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
type String 存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。