检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。 Prompt设置:请检查您使用的Prompt,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的PROMPT,才能发挥出模型的最佳效果。 模型规格:理论上模型的参数规模越大,模型能学到的知识就
图片中需要识别的目标是清晰可见的,没有遮挡、模糊等特征破坏问题。图片中的目标大小显著,目标物体在不放大图片的情况下人眼清晰可见。 画面光照良好,如果是在恶劣天气、户外、晚上等光照不好的场景,需要有补光设备保证良好的光照条件,需要保障在图片中人眼能清晰辨别目标。 图片分辨率大于640x640 px,关于拍
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“插件”页签,单击右上角“创建插件”。 在“创建插件”页面,填写插件名称与插件描述,单击图片可上传插件图标,单击“下一步”。 在“配置信息”页面,参照表1完成信息配置。
构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中,使用数据工程构建盘古NLP大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。
创建应用的步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。 在Agent开发平台,单击左侧导航栏“工作台”按钮,在“应用”页签,单击右上角“创建应用”。 输入应用名称,如“Python编码助手”
nt开发平台。 图1 AGENT开发 在Agent开发平台,单击左侧导航栏“工作台”,在“工作流”页签,单击右上角“创建工作流”。 选择“对话型工作流”,输入工作流名称、英文名称及描述,单击“确定”,进入工作流编排页面。 图2 创建工作流 在工作流编排页面,平台已预先编排了开始、大模型与结束节点。
是 String 项目ID,获取方法请参见获取项目ID。 workflow_id 是 String Workflow ID,获取方式如下: 在“Agent开发”页面,左侧导航栏选择“工作台 > 工作流”,在所需工作流中单击“ > 复制ID”。 conversation_id 是 String
{"system":"你是一个机智幽默问答助手","context":"你好,请介绍自己","target":"哈哈,你好呀,我是你的聪明助手。"} csv格式:csv文件的第一列对应system,第二三列分别对应context、target。 "你是一个机智幽默问答助手","你好,请介绍自己"
2024年12月发布的版本,支持根据历史时间序列数据来预测未来的值,广泛应用于金融、销售预测、天气预报、能源消耗预测等领域。 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合
图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据清洗。 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母,文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型,“待保留语种”之外的图文对数据将被过滤。
自定义格式转换的具体步骤为: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据获取 > 数据导入”,单击右上角“创建导入任务”。 在“创建导入任务”页面选择支持自定义格式转换的数据集类型,如“文本 > 预训练文本”。
预测大模型训练流程与选择建议 预测大模型训练流程介绍 目前,预测大模型支持微调训练。 微调阶段:微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并进
创建NLP大模型自动评测任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”,单击界面右上角“创建评测任务”。 在“创建评测任务”页面,参考表1完成部署参数设置。 表1 NLP大模型自动评测任务参数说明
概述 盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后,可以通过API调用推理接口。 表1 API清单
集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。 人工评测:您可以采用人工评测的方式,参照目标任务构造评测集,通过横向或纵向评估评测集的方式来验证模型效果。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。 在“创建训练任务”页面,选择“盘古大模型 > NLP大模型 > 预训练”。 选择基础模型,可选“从资产选模型”、“从任务选模型”,在弹窗中支持从“
登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 在“工作台 > 工作流”页面,单击所需工作流的“ > 调用路径”。 图1 获取工作流调用路径-1 在“调用路径”页面,单击“复制路径”即可获取调用路径。
创建提示词评估数据集 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示用例管理”,单击页面右上角“创建提示用例集”。 图3 提示用例管理 在“创建数据集”页面完成数据集的上传。 图4 创建提示词评估数据集 父主题:
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“知识库”页签,单击右上角“创建知识库”。 在“创建知识库”页面,填写知识库名称与描述,单击图片可上传知识库图标,单击“下一步”。 在“文件类型”页面,选择文件类型。
员工中有负责软件开发的人员,您希望他们拥有接口的调用权限,但是不希望他们拥有训练模型或者访问训练数据的权限,那么您可以先创建一个IAM用户,并设置该用户在盘古平台中的角色,控制对资源的使用范围。 IAM权限 默认情况下,管理员创建的IAM用户(子用户)没有任何权限,需要将其加入用