检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
气象类清洗算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts St
流通视频类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
Studio大模型开发平台针对图片类数据集预设了一套基础评估标准，涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下： 登录ModelArts
标注文本类数据集 创建文本类数据集标注任务 标注文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建文本类数据集标注任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将选择格式配置为盘古格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗
选择“全部标注”：要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”：允许标注人员在确认AI预标注满足要求后，直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否，标注后不进行审核操作。 是，审核员会检查标注员的标注内容，若发现问
{"9.": "⑨|⑼|㊈|⒐|⓽|➒|❾|➈"} {"10.": "⑩|⑽|㊉|⒑|⓾|➓|❿|➉"} 自定义正则替换 数据条目不变下，使用自定义正则表达式替换文本内容。 示例如下： 去除“参考文献”以及之后的内容：\n参考文献[\s\S]* 针对pdf的内容，去除“0 引言”
工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后，单击右下角“启动清洗”，将启动清洗任务。 当数据清洗任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成清洗。 在完成数据清洗后，如果无需使用数据标注功能
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts St
指令调测完成后，单击“创建并启动”，平台将启动合成任务。 当数据合成任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成合成操作。 在完成数据合成后，若无需使用数据标注功能，可直接在“数据合成”页面单击操作列“生成”，生成加工数据集。 加工数据集列表可在“数据工程 > 数据加工 > 加工数据集”中查看。
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。 表1 图片类清洗算子能力清单 算子分类
平台支持发布不同格式的数据集。 当前支持默认格式、盘古格式： 默认格式：数据工程功能支持的原始格式。 盘古格式：使用盘古大模型训练时所需要使用的数据格式。 如果使用该数据集训练盘古大模型，请将发布格式配置为盘古格式。 填写数据集名称、描述，设置数据集“资产可见性”，设置扩展信息后，单击“确定”执行数据集流通操作。
son”。 X-Auth-Token：用户Token，可选，当使用Token方式认证时，必须填充该字段。用户Token请参考认证鉴权中的“Token认证”。 公有云API同时支持使用AK/SK认证，AK/SK认证是使用SDK对请求进行签名，签名过程会自动往请求中添加Authori
插件创建好的翻译插件。 连接“提问器”节点与该节点，连接该节点与结束节点。 单击该节点，按照图10，进行参数配置，再单击“确定”。 图10 配置文本翻译插件参数 配置“大模型”节点。 鼠标拖动左侧“大模型”节点至编排页面，连接“意图识别”节点和该节点，连接该节点和“结束”节点，单击该节点进行配置。
A：先生，您家的网络无法连接是吗 A：请问您尝试重新插拔网线吗？ B：是的，我试了 B：还是不行 拼接后的微调数据格式示例： {"context": ["xxx号话务员为您服务！ 先生您好，有什么可以帮助您的？", "你好，是这样的 我家里上不了网了 网连不上", "先生，您家的网络无法连接是吗 请问您尝试重新插拔网线吗？"]
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
模型输出的多样性。 提示词配置 提示词 写提示词时，支持使用{{variable}}格式引用当前节点输入参数中已定义好的参数。 提示词：大模型的系统提示词，用于指导模型更好的完成任务。 节点配置完成后，单击“确定”。 连接大模型节点和其他节点。 步骤4：配置意图识别节点 意图识别
如果您需要为企业员工设置不同的访问权限，以实现功能使用权限和资产的权限隔离，可以为不同员工配置相应的角色，以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用盘古的其他功能。 您可以使用统一身份认证服务（IAM）并结合ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
