检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 表1 API清单
huaweicloudsdkcore # 安装盘古服务库 pip install huaweicloudsdkpangulargemodels Go 安装华为云Go SDK库。 // 安装华为云 Go SDK 库 go get -u github.com/huaweicloud/huaweicloud-sdk-go-v3
理。 Pangu-AI4S-Weather-Precip_6h-3.0.0 2024年12月发布的版本,相较于10月发布的版本模型运行速度有提升,用于降水预测,支持1个实例部署推理。 Pangu-AI4S-Weather_1h-20241030 2024年10月发布的版本,用于天
“训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。 Prompt设置:请检查您使用的Prompt,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的PROMPT,才能发挥出模型的最佳效果。 模型规格:理论上模型的参数规模越大,模型能学到
ent开发平台。 进入“工作台 > 应用”页面。 导出应用。 单击页面右上角“导出”。 在“导出应用”页面选择应用,单击“导出”。应用将以一个jsonl格式的文件下载至本地。 导入应用。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。
nt开发平台。 进入“工作台 > 插件”页面。 导出插件。 单击页面右上角“导出”。 在“导出插件”页面选择工作流,单击“导出”。插件将以一个jsonl格式的文件下载至本地。 导入插件。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。
平台。 进入“工作台 > 工作流”页面。 导出工作流。 单击页面右上角“导出”。 在“导出工作流”页面选择工作流,单击“导出”。工作流将以一个jsonl格式的文件下载至本地。 导入工作流。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。
点进行分类。 Pangu-Predict-Table-Reg-2.0.0 2024年12月发布的版本,支持根据已知的输入变量(特征)来预测一个连续型输出变量(目标变量)。 Pangu-Predict-Table-Anom-2.0.0 2024年12月发布的版本,支持识别数据集中不符合预期模式或行为的数据点。
如果在创建文本类数据集标注任务时启用了标注审核功能,则在完成标注后可以在“标注审核”页面审核标注结果。 创建标注任务时如果指定了审核人员,则审核人员可以审核数据集,管理员(主账号)可以对所有数据集进行审核。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。 审核文本类数据集标注结果的步骤如下: 登录ModelArts
盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 在盘古格式中,context和target是键值对。与默认格式不同,context是一个数组,示例如下: {"context":["你好,请介绍自己"],"target":"我是盘古大模型"} 创建文本类数据集流通任务 创建文本类数据集流通任务步骤如下:
到最终答案,减少了过度简化或跳跃推理的可能性。 分步推理与反馈:通过分步推理,模型能够在每个步骤后检查和修正自己的思考过程。 例如,在给定一个复杂的逻辑推理问题时,可以要求模型每完成一小步推理,就提供中间结论和推理过程。这样,模型不仅能增加解题的准确性,还能增强理解和自我校正的能力。
在左侧导航栏中选择“能力调测”,单击“文本对话”页签。 选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”,若不填写,将使用系统默认人设。 在页面右侧配置参数,具体参数说明见表1。 表1 NLP大模型能力调测参数说明 参数 说明 搜索增强
通过这些数据加工操作,平台能够有效清理噪声数据、标准化数据格式,并优化数据集的整体质量。数据加工不仅仅是简单的数据处理,它还会根据数据类型和业务场景进行有针对性的优化,从而为模型训练提供高质量的输入,提升模型的表现。 数据加工意义 数据加工在大模型开发中具有至关重要的作用,具体体现在以下几个方面:
与删除操作。 创建视频类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建视频类数据集评估任务前,请参考加工视频类数据集,生成一个“加工数据集”。 创建视频类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
与删除操作。 创建文本类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建文本类数据集评估任务前,请参考加工文本类数据集,生成一个“加工数据集”。 创建文本类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
与删除操作。 创建图片类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建图片类数据集评估任务前,请参考加工图片类数据集,生成一个“加工数据集”。 创建图片类数据集评估任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点(如worker-0表示第一个工作节点)进行筛选查看。 图1 获取训练日志 父主题: 训练预测大模型
创建应用后,需要撰写提示词(Prompt),为应用设定人设、能力、核心技能、执行步骤。 应用会根据盘古NLP大模型对提示词的理解,来响应用户问题。因此,一个好的提示词可以让模型更好地理解并执行任务,应用效果与提示词息息相关。 配置Prompt Builder步骤如下: 在“Prompt bui
的octave指的是噪音的频率,在生成Perlin噪音时,可以将多个不同频率的噪音叠加在一起,以增加噪音的复杂度和细节。每个频率的噪音称为一个octave,而叠加的octave数越多,噪音的复杂度也就越高。 ensemble_noise_perlin_y 用于选择集合预报的Perlin加噪y纬度方向的尺度。
定义检测物体锚框的长宽比。通过设置不同的长短比例,模型可以更好地适应多种尺寸和形状的物体。 锚框大小 指锚框的初始尺寸。锚框是物体检测中的一个关键概念,通过合理设置,可以帮助模型检测出多种尺寸的目标。 框重叠比例阈值 用于判定模型预测的边界框与真实边界框之间是否为同一物体。该阈值