检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据过程中,为什么无法选中OBS的具体文件进行上传 在数据导入过程中,平台仅支持通过OBS服务导入文件夹类型的数据,而不支持直接导入单个文件。 您需要将文件整理到文件夹中,并选择该文件夹进行上传。 父主题: 大模型使用类问题
盘古大模型是否可以自定义人设 大模型支持设置人设,在用户调用文本对话(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。 以下示例要求模型以幼儿园老师的风格回答问题: { "messages": [
'classes': [category1',category2', ...],// 所有类别名称的列表,每个类别对应一个 label,用于标注视频中的事件或动作。 'database': { 'video_name':{ // 训练集
为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的
预训练阶段:预训练是模型学习基础知识的过程,基于大规模通用数据集进行。例如,在区域海洋要素预测中,可以重新定义深海变量、海表变量,调整深度层、时间分辨率、水平分辨率以及区域范围,以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。 微调阶段:在预训练模型的基础上,微调利用
数据发布”,单击界面右上角“创建发布数据集”。 在“创建发布数据集”页面,选择待发布内容,如“文本 > 单轮问答”类型的数据集。 图2 创建文本数据集发布任务 设置发布方式。除“问答排序”类型外,其余数据类型可选两种发布方式:“单个数据集”、“混合数据集”。选择数据集时,默认选择当前空间数据集,如果用
在“格式配置”分页,选择发布格式,单击“下一步”。当前支持默认格式、盘古格式、自定义格式: “默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本,将数据集转化为适用于其他模型的格式。例如盘古数据集中
创建时可导入图片、图片+Caption、图片+QA对三种类型的数据,具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 图片 tar、图片目录 图片:支持jpg、jpeg、png、bmp类型,单张图片大小不能超过5M,图片总大小不能超过500MB。
路径删除概率 用于定义路径删除机制中的删除概率。路径删除是一种正则化技术,它在训练过程中随机删除一部分的网络连接,以防止模型过拟合。这个值越大,删除的路径越多,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1)。 特征删除概率 用于定义特征删除机制中的删除概率。
更高质量、更有效的输入。数据加工不仅仅是对数据的简单处理,它还针对不同数据类型和业务场景进行有针对性的优化。 ModelArts Studio大模型开发平台提供了强大的数据加工功能,根据不同类型的数据集预置了多种加工算子,如数据提取、转换和过滤等。 数据加工意义 数据加工直接影响
在构建和使用数据集的过程中,数据评估是确保数据质量的关键步骤,直接影响模型的性能和应用效果。高质量的数据集能够显著提升模型的准确性,并增强模型在实际应用中的可靠性与稳定性。因此,数据评估是数据工程中不可或缺的一环,帮助用户在数据准备阶段识别并解决数据中的问题,为后续的模型训练和优化奠定坚实基础。
集,推动AI应用的成功落地。具体功能如下: 数据获取:用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平台,支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式,确保不同业务场景下的数据获取需求得到满足。
支持csv,详见预测类数据集格式要求。 其他类 用户自定义 支持构建CV场景中包含图片和标注文件的图像分类数据集,如图片+CV标注、视频+CV标注等类型,详见其他类数据集格式要求。 各类数据支持的操作 各类型数据支持的数据工程操作见表2。 表2 各类数据支持的操作 数据类型 数据获取 数据加工 数据标注
为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查: 训练参数设置:您可以通过绘制
盘古格式:专为盘古大模型训练设计的格式,确保数据集在盘古模型训练中的兼容性和一致性。 自定义格式:适用于文本类、图片类数据集,用户可以根据需求自定义数据格式,支持自定义脚本进行格式转换,灵活满足特定的业务需求。 除文本类、图片类数据集外,其余类型的数据集当前仅支持发布为默认格式。 父主题: 发布数据集
配置开场白和推荐问题 配置开场白和推荐问题的步骤如下: 在“高级配置 > 开场白和推荐问题”中,可输入自定义开场白,也可单击“智能添加”。 在推荐问中单击“添加”,可增加推荐问数量。添加后可在右侧“预览调试”中查看相应效果。 最多可以添加3个推荐问。 图1 预览调试查看开场白与推荐问效果 父主题:
据不同的使用场景、项目类别或团队需求,自定义创建多个工作空间。每个工作空间都是完全独立的,确保了工作空间内的资产不受其他空间的影响,从而保障数据和资源的隔离性与安全性。用户可以根据需求灵活划分工作空间,实现资源的有序管理与优化配置,确保各类资源在不同场景中的最大化利用。为进一步优
停止计费 包周期服务到期后,保留期时长将根据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。 按需计费模式下,若账户欠费,保留期时长同样依据“客户等级”定义。在保留期内的资源处理和费用请参见“保留期”。 如果保留期结束后仍未续订或充值,数据将被删除且无法恢复。
内置插件:平台集成了各种类型的插件,包含搜索、图片理解等。支持开发者直接将插件添加到Agent中,丰富Agent的能力。 自定义插件:平台支持开发者创建自定义插件。支持开发者将工具、Function或者API通过配置方式快速创建为一个插件,并供Agent调用。 自定义知识库:平台提供了
支持“引用”和“输入”两种类型。 引用:支持用户选择工作流中已包含的前置组件输出变量值。 输入:支持用户自定义取值。 配置“分类配置”中的相关信息。 在分类输入框中输入分类描述信息,描述信息为针对该类别的描述语句或者关键词,同时也将作为LLM进行推理和分类的依据。类别数量为2 ~ 5个。