检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成功后，状态将显示为“运行成功”。 单击操作列“生成”，将生成“发布数据集”。 发布数据集可在“数据工程 > 数据发布 > 发布数据集”中查看。 通过数据配比功能生成的“发布数据集”，其格式为“默认格式”。 父主题： 发布文本类数据集
climate.copernicus.eu/datasets，查找名称中包含ERA5和pressure levels的数据集。 表面变量数据下载链接：https://cds.climate.copernicus.eu/datasets，查找名称中包含ERA5和single levels的数据集。
提示词比较 提示词比较支持选择两个候选提示词对其文本和参数进行比较，支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理，支持评估任务的创建、查询、修改、删除。支持创建评估任务，选择候选提示词和需要使用的变量数据集，设置评估算法，执行任务自动化对候选提示词生成结果和结果评估。
流通操作。 当任务状态显示为“运行成功”时，说明数据流通任务执行成功，生成的“发布数据集”可在“数据工程 > 数据发布 > 发布数据集”中查看。 父主题： 发布文本类数据集
Explorer可根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例 当您在中间填充栏填入对应内容时， 右侧代码示例会自动完成参数的组装。 图2 设置输入参数
产品优势 预置多，数据工程“易” ModelArts Studio大模型开发平台预置多种数据处理AI算子，多种标注工具，满足用户多任务多场景需求，提高开发/标注效率>10X。 0代码，模型开发“简” ModelArts Studio大模型开发平台预置盘古系列预训练大模型，支持快速
系统人设，参数设置为默认参数，在输入框输入问题，单击“生成”，模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例，核采样控制生成文本的多样性和质量： 当“核采样”参数设置为1时，保持其他参数不变，单击“重新生成”，再
训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。 支持区域： 西南-贵阳一 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台
数据工程操作流程见图1、表1。 图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理，确保数据符合
选择。 INT8：该压缩策略将模型参数压缩至8位字节，可以有效降低推理显存占用。 INT4：该压缩策略与INT8相比，可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后，系统将在本次压缩任务状态变更时，向用户发送短信/邮件提醒。
基本信息 名称 训练任务名称。 描述 训练任务描述。 参数填写完成后，单击“立即创建”。 创建好训练任务后，页面将返回“模型训练”页面，可随时查看当前任务的状态。 创建NLP大模型增量预训练任务 在模型完成创建NLP大模型预训练任务预训练后，可以对训练后的模型继续训练，该过程称为“增量预训练”。
基本信息 名称 训练任务名称。 描述 训练任务描述。 参数填写完成后，单击“立即创建”。 创建好训练任务后，页面将返回“模型训练”页面，可随时查看当前任务的状态。 父主题： 训练CV大模型
大模型使用类 盘古大模型是否可以自定义人设？ 如何将本地的数据上传至平台？ 导入数据过程中，为什么无法选中OBS的具体文件进行上传？ 如何查看预置模型的历史版本？ 更多 大模型微调训练类 如何调整训练参数，使盘古大模型效果最优？ 为什么微调后的盘古大模型的回答中会出现乱码？ 如何判断盘古大模型训练状态是否正常？
"target":"你好，请问有什么可以帮助你的？"},{"context":"请介绍一下华为云的产品。","target":"华为云提供包括但不限于计算、存储、网络等产品服务。"}] 单个文件大小不超过50GB，文件数量最多1000个。。 多轮问答（人设） jsonl jsonl格式：数组格式，
在“从资产选模型”选择所需模型。 部署方式 选择“云上部署”。 作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择 “OBS”表示将输出结果存储在OBS中。 作业配置参数 设置模型部署参数信息，平台已给出默认值。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安
数据提取 图文提取 提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码）。 数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据清洗。 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。
建盘古预测大模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个
建盘古CV大模型数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 清洗图片、视频类数据集 通过
古NLP大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算
基本信息 名称 训练任务名称。 描述 训练任务描述。 参数填写完成后，单击“立即创建”。 创建好训练任务后，页面将返回“模型训练”页面，可随时查看当前任务的状态。 父主题： 训练预测大模型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
