检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。
URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致,可以参考创建推理作业获取。获取完整的创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。
在Postman中新建一个GET请求,填入域名(将步骤2中获取的URL去除末尾的“/tasks”即为该域名),设置请求Header参数和任务ID参数。单击Postman界面的“Send”发送请求,以获取科学计算大模型的调用结果。
认证完成后,只要不清理浏览器缓存,对相同桶域名的访问都不会被拦截。 创建原始数据集步骤如下: 登录ModelArts Studio大模型开发平台,进入操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据获取”,单击界面右上角“创建原始数据集”。
Endpoint 承载REST服务端点的服务器域名或IP。 resource-path 资源路径,即API访问路径。从具体API的URI模块获取。 query-string 查询参数,可选,查询参数前面需要带一个“?”,形式为“参数名=参数取值”。
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。
准备工作 注册华为账号并开通华为云,并完成实名认证,账号不能处于欠费或冻结状态。 检查开发环境要求,确认本地已具备开发环境。 登录“我的凭证 > 访问密钥”页面,依据界面操作指引获取Access Key(AK)和Secret Access Key(SK)。
query改写模块 来源:互联网开源数据集 问答模块 来源一:互联网开源数据集,如政府网站网页、政府在线问答公开数据、政务百科等。 来源二:特定的私域数据,针对于具体场景和项目需求,收集相关的文本数据。比如通过与当地政府的政数局进行合作,获取政府部门提供的内部脱敏数据等。
flickr_url 否 图像在Flickr网站上的URL。 id 是 图像的唯一标识符。 annotations 是 标注信息。 num_keypoints 是 标注的关键点数量。 area 是 边界框的面积,以像素平方为单位。
盘古NLP大模型能力与规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型,结合了大数据预训练和多源知识,借助持续学习不断吸收海量文本数据,持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外,盘古NLP大模型还具备模型调用等高级特性,可在智能客服、创意营销等多个典型场景中
功能总览 功能总览 全部 数据工程工具链 模型开发工具链 应用开发工具链 能力调测 应用百宝箱 数据工程工具链 数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、配比和管理等功能。 该工具链能够高效收集和处理各种格式的数据
云容器引擎-成长地图 | 华为云 盘古大模型 盘古大模型服务(PanguLargeModels)致力于深耕行业,打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链
NLP大模型训练流程与选择建议 NLP大模型训练流程介绍 NLP大模型专门用于处理和理解人类语言。它能够执行多种任务,如对话问答、文案生成和阅读理解,同时具备逻辑推理、代码生成和插件调用等高级功能。 NLP大模型的训练分为两个关键阶段:预训练和微调。 预训练阶段:在这一阶段,模型通过学习大规模通用数据集来掌握语言的基本模式和语义
无监督领域知识数据量无法支持增量预训练,如何进行模型学习 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习
如何判断盘古大模型训练状态是否正常 判断训练状态是否正常,通常可以通过观察训练过程中Loss(损失函数值)的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标,正常情况下越小越好。 您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势
为什么微调后的盘古大模型评估结果很好,但实际场景表现很差 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致
获取项目ID 从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时,获取的项目id需要与盘古服务部署区域一致
提示词写作常用方法论 打基础 先制定一个能够明确表达主题的提示词(若模型训练时包含相似任务,可参考模型训练使用的提示词),再由简至繁,逐步增加细节和说明。打好基础是后续提示词优化的前提,基础提示词生成效果差,优化只会事倍功半。 例如,文学创作类可以使用“请创作一个关于{故事主题}的故事
配置插件 配置插件的步骤如下: 在“高级配置 > 插件”,单击“添加”。 图1 配置插件 在“添加插件”窗口,选择预置插件或个人插件,单击进行添加,最后单击“确定”。若想创建插件可单击右上角“创建插件”,创建插件的步骤请参见创建插件。 图2 添加插件 添加插件后,可在“高级配置”中查看当前已添加的插件
撰写所需提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格、格式等。 撰写提示词时,可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,将提示词设置为