检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求： Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。 Go SDK支持go 1.14及以上版本。 .NET SDK适用于
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。存储在OBS服务中的数据或本地数据导入ModelArts Studio大模型开发平台后，将以数据集的形式进行统一管理。 用户将数据导入至平台后，这些数据会生成一个“原始数据集”，用于对导入的数据进行集中管理和进一步操作。
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时支持导入mp4或avi格式文件，同一文件夹下mp4或avi格式的所有视频文件会被同时上传导入，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi
准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 检查开发环境要求，确认本地已具备开发环境。 登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 数据集最大100万个文件，单
Studio大模型开发平台提供了全面的数据工程功能，支持从数据源导入到数据质量控制的全流程管理。该模块涵盖数据获取、加工、标注、评估和发布等关键环节，帮助用户高效构建高质量的训练数据集，推动AI应用的成功落地。具体功能如下： 数据获取：用户可以轻松将多种类型的数据导入ModelArts Studio大模型
型可以通过导入盘古大模型至其他局点，导入至其他局点进行使用。 以从环境A迁移模型到环境B为例： 登录环境B的ModelArts Studio大模型开发平台，在“空间资产 > 模型”页面，单击右上角的“导入模型”。 在“导入模型”页面，下载用户证书。 图2 下载用户证书 登录环境A的ModelArts
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入图片、图片+Caption、图片+QA对三种类型的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片：支持jpg
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
创建视频类数据集加工任务 创建视频类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建视频类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
创建气象类数据集加工任务 创建气象类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建气象类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
常见问题 使用java sdk出现第三方库冲突 当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency>
创建图片类数据集加工任务 创建图片类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建图片类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
创建文本类数据集加工任务 创建文本类数据集加工任务前，请先完成“原始数据集”的创建与上线，具体步骤请参见导入数据至盘古平台。 创建文本类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，用户训练模型时如果使用较特殊的数据集，ModelArts Studio大模型开发平台支持导入用户自定义的数据集。 例如，在训练CV类算法（如图片分类、图片分割、图片检测等任务）时，用户需使用“其他”类型的数据集。 其他类数据集可直
盘古NLP大模型SFT任务创建流程见表1。 表1 盘古NLP大模型SFT任务创建流程 操作步骤 说明 步骤1：导入数据至盘古平台 本样例场景实现将存储在OBS的文本数据导入至盘古平台，并上线为原始数据集。 步骤2：加工文本类数据集 本样例场景帮助用户利用数据集加工算子处理原始数据集。
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”，输出模型回复结果，用户可以基于预览的效果调整提示词文本和变量。 父主题： 撰写提示词
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，每个数据点都有一个时间戳，表示数据在时间上的位置。它用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种
大气、陆地和海洋气候变量的估计值。 ERA5数据下载官方指导：https://confluence.ecmwf.int/display/CKB/How+to+download+ERA5 高空变量数据下载链接：https://cds.climate.copernicus.eu/da
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
