检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练参数优化 科学计算大模型的训练参数调优可以考虑学习率参数,学习率(Learning Rate)是模型训练中最重要的超参数之一,它直接影响模型的收敛速度和最终性能: 学习率过高,会导致损失在训练初期快速下降,但随后波动较大,甚至出现NaN(梯度爆炸)的问题。 学习率过低,会导致
地执行,为实际应用提供强大的智能支持。 模型训练:在模型开发的第一步,ModelArts Studio大模型开发平台为用户提供了丰富的训练工具与灵活的配置选项。用户可以根据实际需求选择合适的模型架构,并结合不同的训练数据进行精细化训练。平台支持分布式训练,能够处理大规模数据集,从
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服
平台提供导入知识功能,支持用户存储和管理数据,并与AI应用进行互动。支持多种格式的本地文档(如docx、pptx、pdf等),方便导入至知识,为Agent应用提供个性化数据支持。 平台还提供全链路信息观测和调试工具,支持开发者深入分析Agent执行过程中的每个环节。通过对信息进行分层展示
知识库介绍 平台提供了知识库功能来管理和存储数据,支持为应用提供自定义数据,并与之进行互动。 知识库支持导入以下格式的本地文档: 文本文档数据。支持上传常见文本格式,包括:txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式,便于管理和分
知识型Agent:以大模型为任务执行核心,适用于文本生成和文本检索任务,如搜索问答助手、代码生成助手等。用户通过配置Prompt、知识库等信息,使得大模型能够自主规划和调用工具。 优点:零代码开发,对话过程智能化。 缺点:大模型在面对复杂的、长链条的流程时可能会受到输入长度限制,难以有效处理较为复杂的工作流。 流
如何判断盘古大模型训练状态是否正常 为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 数据量足够,为什么盘古大模型微调效果仍然不好 大模型使用类问题 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的单个文件进行上传 训练/推理单元与算力的对应关系是什么 提示词工程类 如何让大模型按指定风格或格式回复
大模型使用类 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的单个文件进行上传 如何查看预置模型的历史版本 训练/推理单元与算力的对应关系是什么
盘古科学计算大模型能力与规格 盘古科学计算大模型面向气象、医药、水务、机械、航天航空等领域,融合了AI数据建模和AI方程求解方法。该模型从海量数据中提取数理规律,利用神经网络编码微分方程,通过AI模型更快速、更精准地解决科学计算问题。 ModelArts Studio大模型开发平
过10M。 单击“点此上传”上传本地文件至知识库。支持单次上传文件个数不超过300个。 上传完成后,单击“确定”,完成知识库的创建。 知识库创建完成后,如果想在当前知识库中继续上传文件,可单击该知识库进入详情页面,再单击右上角“继续上传”,上传本地文件。 知识库命中测试 平台支持
时间要求:微调数据中时间维度需明确是UTC时间或北京时间。 缺失值处理:若微调数据有缺失值,需将缺失值处理成nan。 导入微调数据至平台 用户可以将存储在OBS服务的数据或本地数据导入至ModelArts Studio平台。 本案例以导入OBS服务中的数据为例,导入微调数据至平台的步骤如下: 登录ModelArts
部署至客户的边缘设备中(仅支持边缘部署的模型可配置边缘部署)。 部分模型资产支持边缘部署方式,若选择“边缘部署”: 本地挂载路径(选填):在容器内部将卷挂载的本地路径。挂载后,容器中的应用程序可以通过这个路径访问宿主机上的数据。 资源池:选择部署模型所需的边缘资源池,创建边缘资源池步骤请详见创建边缘资源池。
gent开发平台。 进入“工作台 > 知识库”页面。 单击所需知识库,进入详情页面。 新增知识库中知识文档。单击右上角“继续上传”,可上传本地文档至当前知识库。 删除知识库中知识文档。在“知识文档”中单击操作列“删除”可删除当前知识文档。 获取知识库ID、删除知识库 登录ModelArts
自定义插件:平台支持开发者创建自定义插件。支持开发者将工具、Function或者API通过配置方式快速创建为一个插件,并供Agent调用。 自定义知识库:平台提供了知识库功能来管理和存储数据,支持为AI应用提供自定义数据,并与之进行互动。多种格式的本地文档(支持docx、pptx、pdf等)都可以导入至知识库。
创建推理作业 功能介绍 支持调用科学计算大模型创建气象/降水模型的推理作业。 URI 获取URI方式请参见请求URI。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数(Token认证) 参数 是否必选 参数类型 描述 X-Auth-Token
进入“工作台 > 应用”页面。 导出应用。 单击页面右上角“导出”。 在“导出应用”页面选择应用,单击“导出”。应用将以一个jsonl格式的文件下载至本地。 导入应用。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。
> 插件”页面。 导出插件。 单击页面右上角“导出”。 在“导出插件”页面选择工作流,单击“导出”。插件将以一个jsonl格式的文件下载至本地。 导入插件。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。
构建微调训练任务 登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 在“创建训练任务”页面进行配置。 训练配置:按照图1所示进行配置。 本案例选择的基础模型为“Pangu-AI4S-Ocean_Regional_24h-3
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于Pangu服务接口,如果调用后返回状态码为“200”,则表示请求成功。 响应消息头 对应请求消息
工作流”页面。 导出工作流。 单击页面右上角“导出”。 在“导出工作流”页面选择工作流,单击“导出”。工作流将以一个jsonl格式的文件下载至本地。 导入工作流。 单击页面右上角“导入”。 在“导入”页面,单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后,选择解析内容。