检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练预测大模型 预测大模型训练流程与选择建议 创建预测大模型训练任务 查看预测大模型训练状态与指标 发布训练后的预测大模型 管理预测大模型训练任务 预测大模型训练常见报错与解决方案 父主题: 开发盘古预测大模型
词进行比较和评估。 提示词比较 提示词比较支持选择两个候选提示词对其文本和参数进行比较,支持对选择的候选提示词设置相同变量值查看效果。 提示词评估 提示词评估以任务维度管理,支持评估任务的创建、查询、修改、删除。支持创建评估任务,选择候选提示词和需要使用的变量数据集,设置评估算法
训练科学计算大模型 科学计算大模型训练流程与选择建议 创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
Token限制等参数。模型参数的设置会影响模型的生成质量和多样性,因此需要根据不同的场景进行选择。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。
ensemble_noise_perlin_x 否 Double 用于选择集合预报的Perlin加噪x经度方向的尺度。 取值范围:[0, 1)。 ensemble_noise_perlin_y 否 Double 用于选择集合预报的Perlin加噪y纬度方向的尺度。 取值范围:[0, 1)。
2024年11月发布的版本,仅支持32K序列长度推理部署。 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作: 表2 盘古NLP大模型支持的能力
配置OBS访问授权步骤如下: 登录ModelArts Studio大模型开发平台首页。 配置OBS访问授权。 方式1:在首页顶部单击“此处”,在弹窗中选择授权项,并单击“确认授权”。 图1 配置OBS访问授权 方式2:单击首页右上角“设置”,在“授权管理”页签,单击“一键授权”。 父主题: 准备工作
hPa等。 upper_air_features:高空特征变量列表,例如湿度(Q)、温度(T)、风速(U、V)、高度(Z)。 单个文件大小不超过50GB,文件数量最多1000个。 气象-海洋数据 nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2
平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 发布数据集 评估数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。
mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹下,每个文件夹下可以同时包含mp4或avi格式的视频。 单个文件大小不超过50GB,文件数量最多1000个。 事件检测 视频+json 数据源样本为avi、mp4格式,标注文件为json格式。必须包含两个及以上后缀名字为avi或者mp4的文件。
辨率为24小时,1个训练单元起训及1个实例部署。 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作: 表2
2024-05-27 12:03:00,10.8,20.9,103 2024-05-27 12:04:00,10.9,21.0,104 单个文件大小不超过50GB,文件数量最多1000个。 回归分类 csv 数据为结构化数据,包含列和行,每一行表示一条数据,每一列表示一个特征,并且必须包含
片段,如果某个镜头片段的长度超过设定的时间阈值,该镜头片段将按时长进行进一步拆分。 数据过滤 视频裁剪 裁剪视频中字幕/Logo/水印/黑框等无用信息,生成新视频。 视频元数据过滤 基于视频元数据进行过滤,包括帧率、分辨率和视频时长。注:电影标准帧率为24或30FPS。 宽高比过滤
种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注图片类数据集、标注视频类数据集 发布图片、视频类数据集 评估图片、视频类数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准
答案,分步解决也容许大模型有更多的“思考时间”,用更多的计算资源解决该问题。 自洽性 同一问题使用大模型回答多次,生成多个推理路径及答案,选择一致性最高的结果作为最终答案。 父主题: 提示词写作进阶技巧
数据集在规模、质量和内容上符合模型训练的标准。 数据评估 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。 数据配比 数据配比是将多个数据集按特定比例组合并发布为
注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化
引擎。在初步验证大模型效果时,可以假设检索出的文档完全相关,将其与query及特定prompt模板拼接后输入模型,观察输出是否符合预期。 选择基模型/基础功能模型 query改写模块:盘古-NLP-N1-基础功能模型 说明:该模块用于对多轮对话中的省略和指代问题进行补全,对多轮对
数据标注:平台支持对无标签的数据添加标签或对现有的标签进行重新标注,以提升数据集的标注质量。用户可以针对不同的数据集灵活地选择对应的标注项,还可以自定义选择多人标注、审核以及标注任务移交。针对文本和图片类数据集,平台还提供AI预标注功能。利用盘古大模型的智能能力,显著降低人工标注
模型训练:在模型开发的第一步,ModelArts Studio大模型开发平台为用户提供了丰富的训练工具与灵活的配置选项。用户可以根据实际需求选择合适的模型架构,并结合不同的训练数据进行精细化训练。平台支持分布式训练,能够处理大规模数据集,从而帮助用户快速提升模型性能。 模型评测:为