检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的加工操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1 视频类加工算子能力清单
问题不是string格式。 回答为空。 回答无意义。 语种过滤 通过语种识别模型得到文档的语言类型，筛选所需语种的文档。 全局文本去重 检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。 数据打标 预训练文本分类 针对预训练文本进行内容分类，例如新闻、教育、健康等类别，支持分析语种包括：中文、英文。
理解底层任务 需要站在模型的角度理解相关任务的真实底层任务，并清晰描述任务要求。 例如，在文档问答任务中，任务本质不是生成，而是抽取任务，需要让模型“从文档中抽取出问题的答案，不能是主观的理解或解释，不能修改原文的任何符号、字词和格式”， 如果使用“请阅读上述文档，并生成以下问题
创建并管理盘古工作空间 盘古工作空间介绍 创建并管理盘古工作空间 管理盘古工作空间成员 父主题： 准备工作
配置”中，配置提示词。 如果“模型配置 > 模型选择”中没有可供选择的NLP大模型，请完成模型部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 “大模型”节点配置完成后，单击“确定”。 配置“结束”节点。 单击“结束”节点，如图13，配置输入参数与指定回复。
创建盘古工作空间步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”分页，单击“创建空间”。 填写空间名称、描述，单击“确认”，完成空间的创建。 图1 创建空间 单击创建好的空间，进入ModelArts Studio大模型开发平台。 如果用户具备多个空间的访问权限，可在页面左上角单击切换空间。
annotations，train，val文件夹。annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片，示例如下所示： ├─annotations │ train.json │
设置背景及人设 背景： 模型基于简单prompt的生成可能是多范围的各方向发散的，如果您需要进行范围约束，或加强模型对已有信息的理解，可以进行提示：“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”，或
产的精细化管理与有序调配，帮助用户高效地规划和分配任务，使团队协作更加高效。 此外，平台配备了完善的角色权限体系，覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置，每位用户能够在其对应的权限范围内安全高效地操作平台功能，从而最大程度保障数据的安全性与工作效率。
加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题： 使用数据工程构建数据集
发布数据集 数据集发布场景介绍 发布文本类数据集 发布图片类数据集 发布视频类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 管理发布后的数据集 父主题： 使用数据工程构建数据集
包年/包月和按需计费模式有什么区别 包年/包月和按需计费模式的区别如下： 包年/包月计费模式：包年/包月的计费模式是一种预付费方式，按订单的购买周期计费，适用于可预估资源使用周期的场景。 按需计费模式：按需付费是后付费方式，可以随时开通/关闭对应资源，支持秒级计费，系统会根据云服
见创建自定义数据合成指令。 指令选择完成后，单击“确定”，并配置指令参数。 如图1，展示了预训练文本类数据集的合成指令参数配置示例，该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例 指令编排完成后，单击右上角“启用调测”，可以对当前编排的指令效果进行预览。
包年/包月和按需计费模式是否支持互相切换 包年/包月和按需计费模式使用周期内不支持主动切换，需要联系客服进行变更配置。 盘古大模型的资源与资产计费模式不同，详见计费模式。 父主题： 计费FAQ
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程构建数据集
如图，以授权子用户“模型开发工程师”权限为例。单击用户列表操作栏的“编辑”，勾选需要赋予用户的角色，单击“确认”。 图11 授权子用户“模型开发工程师”权限 移除盘古子用户 当需要删除空间内某个子用户时，可以按如下步骤操作： 登录ModelArts Studio大模型开发平台。 进入
试运行工作流-1 其他意图：用户其他的请求（除翻译请求外）将执行大模型节点分支，并根据用户的提问进行回答。 如图2，当用户输入对话类问题时（如“你好”），“意图识别”节点对用户的意图分类为“其他”，此时工作流将运行“大模型”节点分支，输出“大模型”节点的回答。 图2 试运行工作流-2 多场景测试
具体步骤请参见导入数据至盘古平台。 创建气象类数据集加工任务 创建气象类数据集加工任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”，单击界面右上角“创建加工任务”。
发布预测类数据集 预测类数据集当前仅支持发布为“标准格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”，单击界面右上角“创建发布任务”。 在“创建发布任务”页面，选择数据集模态，如“预测
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
