检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent开发提供便捷搭建大模型应用功能,并提供功能强大的插件配置,让Agent能力更强,更专业。 统一管,资产管理“全” ModelArts Studio大模型开发平台数据、模型、Agent应用在统一的入口进行管理,可以快速的掌握资产的使用情况、版本情况和溯源信息等。 海量训练数据 盘古大
表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算子对数据进行预处理,确保数据符合模型
在“创建流通任务”页面,选择数据集模态,如“图片 > 图片+Caption”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对接盘古大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。
模型资产、数据资源、训练资源、推理资源 所有按需计费、包年/包月中的模型资产、数据资源、训练资源、推理资源。 购买的所有类型的资产与资源仅支持在西南-贵阳一区域使用。 配额限制 盘古大模型服务的配额限制详见表2。 表2 配额限制 资源类型 默认配额限制 是否支持调整 模型实例 ModelArts
在“Agent开发”页面,左侧导航栏选择“工作台 > 工作流”,在所需工作流中单击“ > 复制ID”。 conversation_id 是 String 会话ID,唯一标识每个会话的标识符,可将会话ID设置为任意值,使用标准UUID格式。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的文本类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于文本类数据集,可选择的清洗算子请参见文本类清洗算子能力清单。 在左侧“添加算子”分页勾选所需算子。 在
在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的图片类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于图片类数据集,可选择的清洗算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排
在左侧导航栏中选择“数据工程 > 数据发布 > 数据配比”,单击界面右上角“创建配比任务”。 在“数据集选择”页签选择需要配比的文本类数据集(至少选择两个),单击“下一步”。 在“数据配比”页面,支持两种配比方式,“按数据集”和“按标签”。 按数据集:可以设置不同数据集的配比数量,单击“确定”。 按标签:该
图1 获取工作流调用路径-1 在“调用路径”页面,单击“复制路径”即可获取调用路径。 其中,conversation_id参数为会话ID,唯一标识每个会话的标识符,可将会话ID设置为任意值,使用标准UUID格式。 图2 获取工作流调用路径-2 使用Postman调用API 获取To
在“Agent开发”页面,左侧导航栏选择“工作台 > 应用”,在所需Agent中单击“ > 复制ID”。 conversation_id 是 String 会话ID,唯一标识每个会话的标识符,可将会话ID设置为任意值,使用标准UUID格式。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
辨率以及区域范围,以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。 微调阶段:在预训练模型的基础上,微调利用特定领域的数据进一步优化模型,使其更好地满足实际任务需求。例如,区域海洋要素预测的微调是在已有模型上添加最新数据,不改变模型结构参数或引入新要素,以适应数据更新需求。
合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pangu-NLP-N1-Chat-32K-20241130 32K 4K 2024年11月发布的版本,支持8K序列长度训练,4K/32K
接使用预置标准或创建自定义评估标准,以满足个性化的数据质量需求。最终生成详细的质量评估报告,这些报告能够帮助用户检验数据的准确性、完整性和一致性,确保数据在进行模型训练前的高质量标准,以保证模型在实际应用中的可靠性和稳定性。 数据配比:平台支持对文本、图片类数据进行数据配比。用户
处理分布差异较大的数值特征。 预测目标列 指定预测目标变量的列名,仅支持单目标变量预测。格式为["列名"],默认设置为[],表示选择最后一列作为预测目标变量。 训练集&验证集比例 将数据集划分为训练集和验证集。填写验证集的比例(默认为 0.2,即训练集占0.8,验证集占0.2)。可选比例包括0
支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古科学计算大模型规格 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-AI4S-Ocean_24h-20241130 2024年11月发布的版本,用于海洋基础要素预测,可支持1个实例部署推理。 P
工作流插件节点的input在插件定义中不存在。 检查插件定义和对应的组件定义是否匹配。 101744 插件定义了response,但实际插件执行结果与定义不一致。 检查插件response定义和实际插件执行结果是否匹配。 101745 工作流插件节点执行出错。 插件执行出错,可以根据具体的error
图1 获取应用调用路径-1 在“调用路径”页面,单击“复制路径”即可获取调用路径。 其中,conversation_id参数为会话ID,唯一标识每个会话的标识符,可将会话ID设置为任意值,使用标准UUID格式。 图2 获取应用调用路径-2 使用Postman调用API 获取Tok