检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
盘古大模型是否可以自定义人设 大模型支持设置人设,在用户调用文本对话(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。 以下示例要求模型以幼儿园老师的风格回答问题: { "messages": [
在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前其他类数据集仅支持发布默认格式。 填写
导入数据过程中,为什么无法选中OBS的具体文件进行上传 在数据导入过程中,平台仅支持通过OBS服务导入文件夹类型的数据,而不支持直接导入单个文件。 您需要将文件整理到文件夹中,并选择该文件夹进行上传。 父主题: 大模型使用类问题
信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Regio
单击“下一步”,进入“指令编排”页面,单击右上角“添加指令”。 在“添加指令”页面可选择预置指令或自定义指令。 预置指令。平台为用户提供了多种预置指令,便于用户执行合成任务。 自定义指令。平台支持编排用户自定义指令。自定义指令的创建详见创建自定义数据合成指令。 指令选择完成后,单击“确定”,并配置指令参数,包括
集,推动AI应用的成功落地。具体功能如下: 数据获取:用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平台,支持的数据类型包括文本、图片、视频、气象、预测数据以及用户自定义的其他类型数据。平台提供灵活的数据接入方式以及支持多种文件格式导入,确保不同业务场景下的数据获取需求得到满足。
模型名称 说明 西南-贵阳一 Pangu-Predict-Table-Cla-2.0.0 2024年12月发布的版本,支持分析历史数据中的特征与类别的关系,学习出一种映射规则或函数,然后应用这个规则对未来未知的数据点进行分类。 Pangu-Predict-Table-Reg-2.0.0
2024年11月发布的版本,支持在线推理、能力调测特性,可支持1个实例部署推理。 科学计算大模型训练类型选择建议 目前,全球中期天气要素模型提供训练功能和推理功能,降水模型仅提供推理功能。 全球中期天气要素预测模型的训练类型选择建议: 全球中期天气要素预测模型的训练支持预训练、微调两种操作,如果直接使
选择合适的预测大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景,选择合适的模型,从而提高模型的整体效果,详见表1。 表1 预测大模型的类型 模型名称 适用场景 说明 Pangu-Predict-Table-Cla-2.0.0 该模型属于分类模型,用于预测离散类别,可以应用于各种分类任务。
自定义插件:平台支持开发者创建自定义插件。支持开发者将工具、Function或者API通过配置方式快速创建为一个插件,并供Agent调用。 自定义知识库:平台提供了知识库功能来管理和存储数据,支持为AI应用提供自定义数据,并与之进行互动。多种格式的本地文档(支持docx、pptx、pdf等)都可以导入至知识库。
训练参数 说明 训练配置 模型来源 选择“盘古大模型”。 模型类型 选择“CV大模型”。 训练类型 选择“微调”。 基础模型 选择所需微调的基础模型。 训练参数 数据集 训练数据集。 自定义L1预训练模型目录 自定义预训练模型所在的OBS路径。 训练轮数 表示完成全部训练数据集训
使用Python脚本转换自定义格式为jsonl格式 对于文本类数据集,除文档、网页数据类型,其余类型的数据支持将自定义格式转换为jsonl格式。 用户可以上传自定义的python脚本实现数据集由自定义格式到jsonl格式的转换,页面中会提供脚本示例,可下载作为参考。 自定义格式转换的具体步骤为:
密协作,快速响应不断变化的业务需求和技术要求。 平台支持的数据类型 ModelArts Studio大模型开发平台支持的数据类型见表1,各类型数据格式详细要求请参考数据集格式要求。 表1 平台支持的数据类型 数据类型 数据内容 支持的文件格式 文本类 文档 txt、mobi、epub、docx、pdf
NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集,数据集文件内容包括:预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等,不同训练方式所需要使用的数据见表1,该数据集格式要求请参见文本类数据集格式要求。 表1 训练NLP大模型数据集类型要求 基模型 训练场景
清洗数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。 合成数据集 利用预置或自定义的数据指令对原始数据进行处理,并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集,增强训练模型的多样性和泛化能力。
练。通过数据加工,用户能够快速构建高质量的数据集,推动大模型的成功开发。 支持数据加工的数据集类型 当前支持数据加工操作的数据集类型见表1。 表1 支持数据加工操作的数据集类型 数据类型 数据清洗 数据合成 数据标注 文本类 √ √ √ 图片类 √ - √ 视频类 √ - √ 气象类
或频繁出现相同词汇。 平衡的:平衡模型输出的随机性和准确性。 创意性的:模型输出内容更具多样性和创新性,某些场景下可能会偏离主旨。 自定义:自定义大模型输出的温度和核采样值,生成符合预期的输出。 温度 调高温度会使得模型的输出更多样性和创新性,反之,降低温度会使输出内容更加遵循指
表2 大模型节点配置说明 配置类型 参数名称 参数说明 参数配置 输入参数 参数名称:参数的名称长度必须大于等于1个字符,并且字符只允许为下面三种类型: 字母(A-Z或a-z) 数字(0-9) 特殊字符:_ 类型、值:支持“引用”和“输入”两种类型。 引用:支持用户选择工作流中已包含的前置节点的输出变量值。
码获取结果。此插件为Agent提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。 自定义插件:为了满足更个性化的需求,平台允许开发者创建自定义插件,支持将API通过配置方式快速创建为插件,并供Agent调用。这样,开发者可以根据特定需求为应用增加专属功能。
空间管理 ModelArts Studio大模型开发平台为用户提供了灵活且高效的空间资产管理方式。平台支持用户根据不同的使用场景、项目类别或团队需求,自定义创建多个工作空间。每个工作空间都是完全独立的,确保了工作空间内的资产不受其他空间的影响,从而保障数据和资源的隔离性与安全性。用户可