检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“可部分标注”：允许标注人员在确认AI预标注满足要求后，直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否，标注后不进行审核操作。 是，审核员会检查标注员的标注内容，若发现问题，审核员可注明原因并驳回标注数据，标注员需重新标注。 启用多人审核 关闭时，默认管理员单人审核
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts St
流通视频类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
Studio大模型开发平台针对图片类数据集预设了一套基础评估标准，涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下： 登录ModelArts
在左侧导航栏中选择“数据工程 > 数据加工 > 数据标注”，单击页面右上角“创建标注任务”。 在“创建标注任务”页面选择需要标注的文本类数据集，并选择标注项。 选择标注项时，不同类型的数据文件对应的标注项有所差异，可基于页面提示进行选择。 单击“下一步”，可查看效果预览。 单击“下一步”，参考表1配置标注分配与审核。
平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将选择格式配置为盘古格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗
修改当前空间名称与描述。 可查看当前空间的创建时间。 单击右上角“删除”，可删除当前空间。 删除空间属于高危操作，删除前请确保当前空间不再进行使用。 父主题： 创建并管理盘古工作空间
选择“可部分标注”：允许标注人员在确认AI预标注满足要求后，直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否，标注后不进行审核操作。 是，审核员会检查标注员的标注内容，若发现问题，审核员可注明原因并驳回标注数据，标注员需重新标注。 启用多人审核 关闭时，默认管理员单人审核
全局文本去重 检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。 数据打标 预训练文本分类 针对预训练文本进行内容分类，例如新闻、教育、健康等类别，支持分析语种包括：中文、英文。 通用质量评估 针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。 说明： 使用该清洗算
工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，如果无需使用数据标注功能
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
创建并管理盘古工作空间 盘古工作空间介绍 创建并管理盘古工作空间 管理盘古工作空间成员 父主题： 准备工作
指令编排完成后，单击右上角“启用调测”，可以对当前编排的指令效果进行预览。 指令调测完成后，单击“创建并启动”，平台将启动合成任务。 当数据合成任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成合成操作。 在完成数据合成后，若无需使用数据标注功能，可直接在“数据合成”页面单击操作列“生成”，生成加工数据集。
平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片，并对图片进行结构化解析（BASE64编码）。 数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据清洗。 图文文本长度过滤
平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将发布格式配置为盘古格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
建独立的工作空间。 每个工作空间在资产层面完全隔离，确保资产的安全性和操作的独立性，有效避免交叉干扰或权限错配带来的风险。用户可以结合实际使用场景，如不同的项目管理、部门运营或特定的研发需求，划分出多个工作空间，实现资产的精细化管理与有序调配，帮助用户高效地规划和分配任务，使团队协作更加高效。
全球中期天气要素预测模型的训练支持预训练、微调两种操作，如果直接使用平台预置的中期天气要素预测模型不满足您的使用要求时，可以进行预训练或微调。预训练、微调操作的适用场景如下： 预训练：训练用于添加新的高空层次、高空变量或表面变量。如果您需要在现有模型中引入新要素，需要使用训练（重新训练模型）。在重训配置参数
创建推理作业 功能介绍 支持调用科学计算大模型创建气象/降水模型的推理作业。 URI 获取URI方式请参见请求URI。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
