检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
格、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的电话号码、邮箱、身份证、车牌号、IP地址、URL地址、MAC地址、护照号、IMEI等个人敏感信息进行数据脱敏，或直接删除敏感信息。 中文简繁转换 将简体文本转换为繁体，或将繁体文本转换为简体。 符号标准化 查找数据中携
在调试详情页面，单击，选择需要查看的信息。 单击“日志概览”页签。 可以查看到该次执行的整体情况，包括执行状态、开始/结束时间、运行时长和输入/输出。 单击“节点详情”页签。 可以查看到该次执行的主要组件耗时时长和占比情况，以及该次执行的调用链及其是否成功的状态。 单击调用链中的某个组件（例如插件天气搜索），展开调用链。
A：先生，您家的网络无法连接是吗 A：请问您尝试重新插拔网线吗？ B：是的，我试了 B：还是不行 拼接后的微调数据格式示例： {"context": ["xxx号话务员为您服务！ 先生您好，有什么可以帮助您的？", "你好，是这样的 我家里上不了网了 网连不上", "先生，您家的网络无法连接是吗
德的有害信息。 模型安全：通过模型动态混淆技术，使模型在运行过程中保持混淆状态，有效防止结构信息和权重信息在被窃取后暴露。 系统安全：通过网络隔离、身份认证和鉴权、Web安全等技术保护大模型系统安全，增强自身防护能力，以抵御外部安全攻击。 父主题： 大模型概念类问题
气象类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单
图片类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类加工算子，算子能力清单见表1、表2。 图文类加工算子能力清单 表1
dataset obs file empty. 检查数据集文件是否还存在于原先的OBS桶中。 download obs file failed. 请检查网络是否正常，是否可以访问OBS桶中的数据。 数据评估 annotate type is invalid. 请检查上传的数据中，使用的数据标注
视频类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的加工操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。
平台支持发布的数据集格式为默认格式、盘古格式、自定义格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 父主题： 使用数据工程准备与处理数据集
型消除语义歧义性，识别用户查询意图，并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输入抽取关键信息并转换为JSON格式输出，以供下游操作，从而满足该场景下客户需求。 金融场景下，NL2JSON能力可以有效消除用户语义歧义性，提高数据处理的灵活
此示例演示了如何使用加工算子轻松构建单轮问答数据集。数据集的加工算子是一种灵活的数据预处理工具，能够帮助您将原始数据转化为所需的格式。通过使用加工算子，您可以提取、转换、过滤原始数据，生成适合大模型训练的数据集。 准备工作 请提前准备数据并上传至OBS服务，上传步骤请详见通过控制台快速使用OBS。 操作流程
选择合适的模型，从而提高模型的整体效果，详见表1。 此外，不同类型的NLP大模型在训练过程中，读取中文、英文内容时，字符长度转换为Token长度的转换比有所不同，详见表2。 表1 不同系列NLP大模型对处理文本的长度差异 模型支持区域 模型名称 可处理最大Token长度 说明 西南-贵阳一
默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 发布文本类数据集操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
数据集加工场景介绍 数据加工概念 数据加工是数据工程中的核心环节，旨在通过使用数据集加工算子对原始数据进行清洗、转换、提取和过滤等操作，以确保数据符合模型训练的标准和业务需求。 通过这一过程，用户能够优化数据质量，去除噪声和冗余信息，提升数据的准确性和一致性，为后续的模型训练提供
能引发的问题，从而构建高质量、适应性强的数据集，为后续的模型训练、验证和应用提供坚实的数据支持。 数据发布意义 数据发布不仅包括数据的格式转换，还涉及数据比例的调整，以确保数据在规模、质量和内容上满足训练标准。具体而言，数据集发布具有以下重要意义： 数据比例和结构调整：平台提供灵
创建原始数据集前，请先按照数据集格式要求提前准备数据。如果需要使用OBS服务导入数据，请详见通过控制台快速使用OBS。 在使用OBS服务上传数据时，如果遇到网络报错“NET::ERR_CERT_AUTHORITY_INVALID”，是由于域名未绑定有效的SSL证书，导致HTTPS请求被浏览器拦截。可以通过以下方法进行规避：
默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 发布图片类数据集操作步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程
按需计费是一种后付费模式，即先使用再付费，按照实际使用时长计费。 在购买后，如果发现当前计费模式无法满足业务需求，您还可以变更计费模式。详细介绍请参见变更计费模式。 计费项 盘古大模型的计费项由模型订阅服务、训练服务和推理服务费用组成。了解每种计费项的详细信息，请参考计费项。 续费
您也可以鼠标单击已有应用右上角的，进行应用的复制、删除、复制ID操作。 在“创建应用”窗口中，填写应用名称与应用描述，单击左下角的图片可更换应用图标，单击“确定”，进入应用详情页面。 图1 填写应用名称与应用描述 图2 创建应用 配置Prompt builder，详见配置Prompt
训练任务。 平台支持发布的数据集格式为默认格式、盘古格式，可按需进行数据集格式转换。 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要进行数据集格式转换。当前仅文本类、图片类数据集支持转换为盘古格式。 NLP大模型开发流程 ModelArts Studio大模型开发平
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
