检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取提示词模板 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确、更有针对性的输出,从而提高模型在特定任务上的性能。 在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。
管理盘古模型资产 模型资产介绍 用户在平台中可试用、订购或训练后发布的模型,将被视为模型资产并存储在空间资产内,方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录,从而追踪模型的演变过程。同时,平台支持一系列便捷操作,包括模型训练、压缩和部署,帮助用户简化模型开发及应用
通过一站式流程,完成从数据集准备、模型训练、压缩、部署到调用,全面掌握盘古大模型的开发过程。同时,结合应用开发的提示词工程、Agent应用开发,您将能够高效构建智能应用,充分释放盘古大模型的潜力,为业务创新提供强大支持。 使用流程 ModelArts Studio大模型开发平台使用流程 数据工程
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,需提交试用申请,申请通过后试用盘古大模型服务。 登录ModelArts Studio大模型开发平台首页。 在首页单击“试用咨询”,申请试用盘古大模型服务。 图1 申请试用 父主题: 准备工作
变量权重 训练数据设置完成后,会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。 数据配置 训练数据 选择数据集中已发布的数据集,这里数据集需为再分析类型数据,同时需要完成加工作业,加工时需选择气象预处理算子。 训练集 选择训练数据中的部分时间数据,训练数据集尽可能多一些。
若任务较复杂,那么可能就需要更多的训练轮数。 数据量级:如果微调数据很多,从客观上来说越多的数据越能接近真实分布,那么可以使用较大的学习率和较大的批量大小,以提高训练效率。如果微调数据量相对较少,则可以使用较小的学习率和较小的数据批量大小,避免过拟合。 通用模型的规格:如果模型
”。在候选列表中,勾选需要进行横向比对的提示词,并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集:根据选择的数据集,将待评估的提示词和数据集中的变量自动组装成完整的提示词,输入模型生成结果。 评估方法:根据选择的评估方法,对模型生成结果和预期
盘古NLP大模型能力与规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型,结合了大数据预训练和多源知识,借助持续学习不断吸收海量文本数据,持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外,盘古NLP大模型还具备模型调用等高级特性,可在智能客服、创意
登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”,
使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力,在输入框中输入问题,模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明
登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作: 编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列
数据量和质量均满足要求,为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或
如果使用全球中期降水预测模型,需要选择1个平台预置好的全球中期降水预测模型,并选择对应的全球中期天气要素预测模型。并且至少有一个中期天气要素模型时间分辨率要小于等于降水模型时间分辨率。 部署模型 在“从资产选模型”选择所需模型。 部署方式 云上部署:算法部署至平台提供的资源池中。 边缘部署:算法部署至客户的边缘设备中。
推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考: 表1 推理参数的建议和说明 推理参数
异常的Loss曲线:平缓且保持高位 Loss曲线异常抖动:Loss曲线异常抖动的原因可能是由于训练数据质量差,比如数据存在噪声或者分布不均衡,导致训练过程不稳定。你可以尝试提升数据质量的方式来解决。 图5 异常的Loss曲线:异常抖动 父主题: 大模型微调训练类问题
户高效地规划和分配任务,使团队协作更加高效。 此外,平台配备了完善的角色权限体系,覆盖超级管理员、管理员、模型开发工程师等多种角色。通过灵活的权限设置,每位用户能够在其对应的权限范围内安全高效地操作平台功能,从而最大程度保障数据的安全性与工作效率。 父主题: 创建并管理盘古工作空间
构建的优点是数据丰富度更高,缺点是成本较高。 当您将无监督数据构建为有监督数据时,请尽可能保证数据的多样性。建议将不同文本构建为不同的场景,甚至将同一段文本构建为多个不同的场景。 不同规格的模型支持的长度不同,当您将无监督数据构建为有监督数据时,请确保数据长度符合模型长度限制。 父主题:
选择基模型/基础功能模型 盘古-NLP-N2-基础功能模型 准备训练数据 本场景不涉及自监督训练,无需准备自监督数据。 微调数据来源: 来源一:真实业务场景数据。 来源二:基于大模型的数据泛化。基于目标场任务的分析,通过人工标注部分数据样例,然后利用大模型(如盘古提供的任意规格的基础功能模型
》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“能力调测”,进入“文本对话”页签,选择服务与人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。
使用API调用科学计算大模型 使用API调用科学计算大模型步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“模型开发 > 模型部署”。 若调用已部署的模型,单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。 图1 获取已部署模型的调用路径