检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传完成后，单击“确定”，完成知识库的创建。 知识库创建完成后，如果想在当前知识库中继续上传文件，可单击该知识库进入详情页面，再单击右上角“继续上传”，上传本地文件。 知识库命中测试 平台支持对创建的知识库进行命中测试，以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配，最
选择“盘古大模型”。 模型类型 选择“预测大模型”。 训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集 训练数据集。 类别特征列 指定使用LabelEncoder处理的字符串类型类别特征的列表。格式为["列名1","列名2"]，默认设置为[]，表示没有需要处理的类别特征。
直接进入保留期，保留期按需资源不可调用。续费后可恢复正常使用，但续费的生效时间以原到期时间为准，需支付从进入保留期开始至续费时的费用。 账户欠费后，部分操作将受限，建议您尽快续费。具体受限操作如下： 按需方式的API接口不可调用。 无法开通服务。
高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 数据工程操作流程见图1、表1。
表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 Lora矩阵的轶 较高的取值意味着更多的参数被更新，模型具有更大的灵活性，但也需要更多的计算资源和内存。较低的取值则意味着更少的参数更新，资源消耗更少，但模型的表达能力可能受到限制。 Agent微调 在训练Agent所需的NLP大
表示在模型训练初期，逐步增加学习率到预设值的训练轮次，用于帮助模型在训练初期稳定收敛，避免大幅度的参数更新导致不稳定的学习过程。 锚框的长边和短边的比例 定义检测物体锚框的长宽比。通过设置不同的长短比例，模型可以更好地适应多种尺寸和形状的物体。 锚框大小 指锚框的初始尺寸。锚框是物体检测中的一个关键概念，通
数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
返回。这样的设计使得Agent能够智能处理复杂任务，甚至跨领域解决问题，实现对复杂问题的自动化处理。 Agent开发平台支持两种类型的插件： 预置插件：平台为开发者和用户提供了预置插件，直接可用，无需额外开发。例如，平台提供的“Python解释器插件”能够根据用户输入的问题自动生
Face团队推出的一种大模型请求格式。 接口的响应体需要按照jsonpath语法要求进行填写，jsonpath语法的作用是从响应体的json字段中提取出所需的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板：使用预置的专业数据集进行评测。
数据获取”，单击界面右上角“创建导入任务”。 在“创建导入任务”页面选择所需要的“文件内容”、“文件格式”、“导入来源”，并单击“选择路径”上传数据文件。 NLP大模型评测数据集支持的格式见表1。 表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 上
如下所示： 具体的json标注文件参考： { 'version': 'dataset_name_v.x.x',// 数据集版本信息。 'classes': [category1',category2', ...],// 所有类别名称的列表，每个类别对应一个 label，用于标注视频中的事件或动作。
流通图片类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 创建文本类数据集流通任务步骤如下： 登录ModelArts
了解每种计费项的详细信息，请参考计费项。 续费 包周期资源到期后，如果您想继续使用服务，需要在保留期内进行手动续费，否则不能再对已过保留期的服务进行续费操作，需重新购买对应的服务。了解更多关于续费的信息，请参见续费。 欠费 在使用云服务时，账户的可用额度小于待结算的账单，即被判定
Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据标注”，单击页面右上角“创建标注任务”。 在“创建标注任务”页面选择需要标注的文本类数据集，并选择标注项。 选择标注项时，不同类型的数据文件对应的标注项有所差异，可基于页面提示进行选择。
过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值，如果超过则去重。
流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 在默认格式中，context和target是键值对。示例如下： {"context": "你好，请介绍自己", "target":
创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 清洗气象类数据集 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。
示例如下： 去除“参考文献”以及之后的内容：\n参考文献[\s\S]* 针对pdf的内容，去除“0 引言”之前的内容，引言之前的内容与知识无关：[\s\S]{0，10000}0 引言 针对pdf的内容，去除“1.1Java简介”之前的与知识无关的内容：[\s\S]{0，10000}
训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 频率加权交并比 频率加权交并比是指模型在预测多个类别时，对每个类别的交并比进行加权平均后得到的值，权重是每个类别在数据集中
让模拟出的天气接近真实世界中的变化。 CNOP噪音通过在初始场中引入特定的扰动来研究天气系统的可预报性，会对扰动本身做一定的评判，能够挑选出预报结果与真实情况偏差最大的一类初始扰动。这些扰动不仅可以用来识别最可能导致特定天气或气候事件的初始条件，还可以用来评估预报结果的不确定性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
