检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。 网页 html 单个文件大小不超过50GB，文件数量最多1000个。 预训练文本 jsonl j
表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序 csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，预测目标列要求为连续型数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指
个jsonl格式的文件下载至本地。 导入应用。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的应用将在“工作台
个jsonl格式的文件下载至本地。 导入插件。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的插件将在“工作台
jsonl格式的文件下载至本地。 导入工作流。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的工作流将在“工作台
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格
气象类数据集格式要求 文件内容 文件格式 文件样例 气象-天气数据 nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2 天气数据通常包含全球或区域性的气象变量，如温度（T）、气压（P）、风速（U、V）等。在文件中，这些变量可能
在“创建导入任务”页面选择所需要的“文件内容”、“文件格式”、“导入来源”，并单击“选择路径”上传数据文件。 NLP大模型评测数据集支持的格式见表1。 表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 上传数据文件后，填写“数据集名称”与“描述”，单击“立即创建”。
、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。
、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。
Pangu-CV-ObjectDetection-N-2.1.0 2024年12月发布的版本，支持全量微调、在线推理。 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古CV大模型支持的具体操作：
type. 请检查上传的数据集文件类型与平台要求的标准文件类型是否一致。 data management query dataset data invalid. 请检查数据集中是否有异常格式的数据。 dataset obs file empty. 检查数据集文件是否还存在于原先的OBS桶中。
数据导入成功。 如果任务状态为“运行失败”，可能由以下原因导致： 文件后缀校验不通过，需要检查文件后缀是否一致。例如，选择创建csv格式的数据集时，文件后缀应为“.csv”。 文件内容校验不通过，需要检查上传的文件数据格式是否正确。可以在“创建导入任务”页面下载数据样例进行比对。
功能限制 功能类型 使用限制 数据工程-数据格式要求 ModelArts Studio平台支持接入的数据需要满足格式要求，包括文件格式、单个文件大小、所有文本大小以及文件数量等，请参考《用户指南》“使用数据工程构建数据集 > 数据集格式要求”。 模型开发-训练、评测最小数据量要求 使用ModelArts
索的知识型Agent，如搜索问答助手、代码生成助手等，执行主体在大模型；另一种是针对复杂工作流场景的流程型Agent，如金融分析助手、网络检测助手等。 知识型Agent：以大模型为任务执行核心，用户通过配置Prompt、知识库等信息，实现工具自主规划与调用，优点是可零码开发，对话
在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作： 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-NLP-BI-4K-20241130
用于海洋基础要素预测 2024年11月发布的版本，支持在线推理、能力调测特性，可支持1个实例部署推理。 Pangu-AI4S-Ocean_Regional_24h-20241130 用于区域海洋基础要素预测 2024年11月发布的版本，支持预训练、微调、在线推理、能力调测特性，1个训练单元起训及1个实例部署。
行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古预测大模型支持的具体操作： 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-Predict-Table-Cla-2
ts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格，您将更全面地
大模型使用类问题 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中，为什么无法选中OBS的具体文件进行上传 如何查看预置模型的历史版本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
