检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据配比”，单击界面右上角“创建配比任务”。 在
导入数据过程中，为什么无法选中OBS的具体文件进行上传 在数据导入过程中，平台仅支持通过OBS服务导入文件夹类型的数据，而不支持直接导入单个文件。 您需要将文件整理到文件夹中，并选择该文件夹进行上传。 父主题： 大模型使用类问题
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
份认证，获得操作API的权限。 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存，避免频繁调用。 如果您的华为云账号已升级为华为账号，将不支持获取账号Token。建议为您自己创建一个IAM用户，获取IAM用户的Token。 获取Token方法： Token可
基本概念 账号 用户注册华为云时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云
大模型开发基本流程介绍 大模型（Large Models）通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理（NLP）等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。
Studio大模型开发平台中，使用数据工程构建盘古CV大模型数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集
调配，帮助用户高效地规划和分配任务，使团队协作更加高效。 此外，平台配备了完善的角色权限体系，覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置，每位用户能够在其对应的权限范围内安全高效地操作平台功能，从而最大程度保障数据的安全性与工作效率。 父主题： 创建并管理盘古工作空间
ModelArts Studio平台上，单个用户最多可创建和管理2000个模型实例。 是 如果希望申请提升配额，请联系客服。 功能限制 盘古大模型服务的功能限制详见表3。 表3 功能限制 功能类型 使用限制 数据工程-数据格式要求 ModelArts Studio平台支持接入的数据需要满足
Studio大模型开发平台中，使用数据工程构建盘古NLP大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集
数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
huaweicloudsdkcore # 安装盘古服务库 pip install huaweicloudsdkpangulargemodels Go 安装华为云Go SDK库。 // 安装华为云 Go SDK 库 go get -u github.com/huaweicloud/huaweicloud-sdk-go-v3
给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求： Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。 Go
数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图
Studio大模型开发平台中，使用数据工程构建盘古预测大模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集
数据工程操作流程见图1、表1。 图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理，确保数据符合模型
评测数据集的创建步骤与训练数据集一致，本章节仅做简单介绍，详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“数据工程 > 数据获取”，单击界面右上角“创建导入任务”。 在“创建导入任务”页面选择所需要的“文件
个字段，很可能是因为用户使用的jackson版本太老导致。 建议客户本地将jackson版本升级到和华为云java sdk一致，jackson版本要求请见pom.xml。 引用华为云java sdk的bundle包来解决jackson版本冲突的问题。 <dependency>
知识库介绍 平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
