检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
矿山行业:进行智能洗选,例如根据煤炭的特征,将煤炭分类,提高洗选效率,降低能耗。 油气行业:进行地质分层,例如基于地质数据,对不同地层进行分类,识别储层和非储层,提高勘探和开发效率。进行岩性识别,例如对不同岩石类型进行分类,帮助识别岩石的性质和特征,指导钻井和开采。进行流体识别,例如根据测井数据,识别储层中的油、气、水等流体类型。
选择合适的CV大模型类型有助于提升训练任务的准确程度。您可以根据模型适用场景,选择合适的模型,从而提高模型的整体效果,详见表1。 表1 CV大模型的类型 模型名称 适用场景 说明 Pangu-CV-ObjectDetection-N-2.1.0 该模型属于物体检测模型,旨在识别图像中的所有感兴趣目标,定
权限控制的场景,安全性较高。 API Key鉴权:通过唯一的API Key来认证应用之间的访问权限,可以使用Header鉴权或Query鉴权的方式,需要提供密钥鉴权参数名和密钥值,安全性较低。 请求头 插件服务的请求头。添加请求的数据格式等说明,敏感信息请通过权限校验的方式实现。
上传完成后,单击“确定”,完成知识库的创建。 知识库创建完成后,如果想在当前知识库中继续上传文件,可单击该知识库进入详情页面,再单击右上角“继续上传”,上传本地文件。 知识库命中测试 平台支持对创建的知识库进行命中测试,以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配,最
提示词应用示例 应用提示词实现智能客服系统的意图匹配 应用提示词生成面试题目 父主题: 提示词写作实践
理较为复杂的工作流。 流程型Agent:以工作流为任务执行核心,用户可以通过在画布上“拖拽”节点来搭建任务流程。支持编排的节点类型包括:大模型节点、意图识别节点、提问器节点、插件节点、判断节点、代码节点、消息节点。 优点:高度可扩展,支持低代码开发。 缺点:对话交互的智能度较低,复杂场景下流程分支较多,维护难度较大。
应用提示词生成面试题目 应用场景说明:将面试者的简历信息输入给大模型,基于简历生成面试问题,用于辅助人工面试或实现自动化面试。 父主题: 提示词应用示例
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外,平台还支持导入其他类数据集,即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作,不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB,单个压缩包大小不超过50GB,文件数量最多1000个。
消息头之外的内容。若请求消息体中参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 将消息体加入后的请求如下所示,详细参数解释可参考文档API章节。
来了巨大的挑战。盘古NLP大模型为程序员提供了强大的代码助手,显著提升了研发效率。 盘古大模型能够根据用户给定的题目,快速生成高质量的代码,支持Java、Python、Go等多种编程语言。它不仅能够提供完整的代码实现,还能够根据用户的需求,进行代码补全和不同编程语言之间的改写转化
多样性和一致性是评估LLM生成语言的两个重要方面。 多样性指模型生成的不同输出之间的差异。一致性指相同输入对应的不同输出之间的一致性。 重复惩罚 重复惩罚(repetition_penalty)是在模型训练或生成过程中加入的惩罚项,旨在减少重复生成的可能性。通过在计算损失函数(用于优化模型的指标)时增加
学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要: 如果学习率过大,模型可能无法收敛。 如果学习率过小,模型的收敛速度将变得非常慢。 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 Lora矩阵的轶 较高的取值意味着更多的参数被更新,模型具有更大的灵活性,
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练NLP大模型
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练CV大模型
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练预测大模型
Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。 配置OBS访问授权步骤如下: 登录ModelArts Studio大模型开发平台首页。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 获取调用路径。 在左侧导航栏中选择“模型开发 > 模型部署”。 获取已部署模型的调用路径。在“我的服务”页签,单击状态为“运行中”的模型名称,在“详情”页签,可获取模型调用路径,如图1。 图1 获取已部署模型的调用路径 获取预置服务的调用路
通过集成数据获取、数据加工、数据发布的完整流程,在大规模数据集的构建过程中,ModelArts Studio大模型开发平台的数据工程功能为用户提供了极大的灵活性和高效性,确保了数据处理的各个环节都能紧密协作,快速响应不断变化的业务需求和技术要求。 平台支持的数据类型 ModelArts
单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。 父主题: 训练科学计算大模型