检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”,输出模型回复结果,用户可以基于预览的效果调整提示词文本和变量。 父主题: 撰写提示词
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集,该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针
跳过最优解,导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线:上升 Loss曲线平缓,保持高位:Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大,或者模型的学习率设置得过小,导致模型的收敛速度太慢,无法达到最优解。您可以
数据获取:数据获取是数据工程的第一步,支持将不同来源和格式的数据导入平台,并生成“原始数据集”。 支持的接入方式:通过OBS服务导入数据。 支持的数据类型:文本、图片、视频、气象、预测、其他。 通过这些功能,用户可以轻松将大量数据导入平台,为后续的数据加工和模型训练等操作做好准备。 数据加
支持区域: 西南-贵阳一 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案。 该工具链具备模型训练、压缩、部署、评测、推理等功能,通过高效的推理
科学计算大模型微调典型问题见表1。 表1 科学计算大模型微调典型问题 问题 可能原因 解决方法 预训练或微调作业失败,提示训练集数据不足。 训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败,提示验证集数据不足。 验证集选取时间区段是否不足。 验证集选
时间。 缺失值处理:若微调数据有缺失值,需将缺失值处理成nan。 导入微调数据至平台 用户可以将存储在OBS服务的数据或本地数据导入至ModelArts Studio平台。 本案例以导入OBS服务中的数据为例,导入微调数据至平台的步骤如下: 登录ModelArts Studio平台,进入所需空间。
所需空间。 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。
科学计算大模型调优典型问题见表1。 表1 科学计算大模型调优典型问题 问题 可能原因 解决方法 预训练或微调作业失败,提示训练集数据不足。 训练集选取时间区段是否不足。 训练集选择的时间区段需要至少超过模型分辨率对应时长。 预训练或微调作业失败,提示验证集数据不足。 验证集选取时间区段是否不足。 验证集选
大模型使用类 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的单个文件进行上传 如何查看预置模型的历史版本 训练/推理单元与算力的对应关系是什么
知识库介绍 平台提供了知识库功能来管理和存储数据,支持为应用提供自定义数据,并与之进行互动。 知识库支持导入以下格式的本地文档: 文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分
预测类数据集格式要求 平台支持创建预测类数据集,创建时可导入时序数据、回归分类数据。 时序数据:时序预测数据是一种按时间顺序排列的数据序列,用于预测未来事件或趋势,过去的数据会影响未来的预测。 回归分类数据:回归分类数据包含多种预测因子(特征),用于预测连续变量的值,与时序数据不
集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 加工文本类数据集 通过专用的加工算子对数据进行预处理
可以选择“全局服务资源”,即服务部署时不区分区域,访问全局级服务,不需要切换区域,全局服务不支持基于区域项目授权。如对象存储服务(OBS)、内容分发网络(CDN)等。 选择完成后,单击“确定”。 图4 设置最小授权范围 单击“完成”,完成用户组授权。 图5 完成授权 创建盘古子用户 创建盘古子用户步骤如下:
中下载的用户证书。设置完成后单击“确定”导出模型。 图2 导出模型 导入其他局点盘古大模型 导入盘古大模型前,请确保当前空间为该用户所创建的空间。 导入模型功能可以将其他局点训练的模型导入本局点进行使用。 导入模型前,请参考导出盘古大模型至其他局点完成模型导出操作。 登录ModelArts
审计 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。
配置盘古访问OBS的权限。 创建并管理盘古工作空间 平台支持用户自定义创建工作空间,并进行空间的统一管理。 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 加工数据集 加工数据集 通过专用的加工算子对数据进行预处理,确保数
创建科学计算大模型训练任务 查看科学计算大模型训练状态与指标 发布训练后的科学计算大模型 管理科学计算大模型训练任务 科学计算大模型训练常见报错与解决方案 父主题: 开发盘古科学计算大模型
生成的内容必须紧扣产品本身,突出产品的特点,不能出现不相关的内容; 7.生成的内容必须完整,必须涵盖产品介绍中的每个关键点,不能丢失任何有价值的细节; 8.生成的内容必须符合客观事实,不能存在事实性错误; 9.生成的内容必须语言通顺; 10.生成的内容中不能出现“带货口播”等这一类字样; 输出格式:口播如下:
NLP大模型训练流程与选择建议 创建NLP大模型训练任务 查看NLP大模型训练状态与指标 发布训练后的NLP大模型 管理NLP大模型训练任务 NLP大模型训练常见报错与解决方案 父主题: 开发盘古NLP大模型