检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集发布场景介绍 数据发布概念 数据发布是指将经过加工、标注、评估的数据集导出并生成符合特定任务或模型训练需求的正式数据集。数据发布是数据处理流程中的关键步骤,也是数据集构建的最终环节。 数据发布过程不仅包括将数据转化为适合使用的格式,还要求根据任务需求对数据集的比例进行科学调整,确保数据集在规模、质量和内容上满足模型训练的标准。
该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建文本类数据集评估任务。 创建文本类数据集评估标准步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估
上线加工后的图片类数据集 加工后的图片类数据集需要执行上线操作,用于后续的数据标注、评估、发布任务,具体步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,在数据集操作列单击“上线”,执行上线操作。
发布预测类数据集 原始数据集和加工后的数据集不可以直接用于模型训练,需要独立创建一个“发布数据集”。 预测类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据
上线标注后的图片类数据集 数据集标注完成并且审核无问题后,需要对该数据集执行上线操作。上线后的数据集可以用于后续的数据评估、发布任务。 上线标注后的数据集步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注
该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建视频类数据集评估任务。 创建视频类数据集评估标准步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估
数据集标注场景介绍 数据标注概念 数据标注是数据工程中的关键步骤,旨在为无标签的数据集添加准确的标签,从而为模型训练提供有效的监督信号。标注数据的质量直接影响模型的训练效果和精度,因此高效、准确的标注过程至关重要。数据标注不仅仅是人工输入,它还涉及对数据内容的理解和分类,以确保标签精准地反映数据的特征和用途。
该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准,可跳过此章节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估
在“来源数据集”分页,选择“文件内容”为“单轮问答”的数据集,填写数据集名称和描述,单击“下一步”。 图2 选择数据集 在加工步骤编排页面展示了预先设置好的开始、结束步骤。在左侧“添加算子”分页可选择合适的算子,如个人数据脱敏、文本长度过滤等。 导入的数据集格式为“JSONL”,因此默认添加了JSON内容提取算子。
数据评估旨在通过对数据集进行系统的质量检查,评估其准确性、完整性、一致性和代表性等多个维度,发现潜在问题并加以解决。 在构建和使用数据集的过程中,数据评估是确保数据质量的关键步骤,直接影响模型的性能和应用效果。高质量的数据集能够显著提升模型的准确性,并增强模型在实际应用中的可靠性与稳定性。因此,数据评估是数据工程中
参数填写完成后单击“立即创建”创建模型压缩任务。 步骤8:部署NLP大模型 在左侧导航栏中选择“模型开发 > 模型部署”,单击“创建部署”。 在“创建部署”页面,选择“盘古大模型 > NLP大模型”,单击“从资产选模型”,选择步骤7:压缩NLP大模型步骤中压缩后的模型。 选择部署方式“云上部署”,选择最大TOK
5个。 在“高级配置”中配置预先部署好的模型与prompt提示词。单击“确定”,完成参数配置。 图8 意图识别组件参数配置 鼠标拖动左侧“提问器”组件至编排页面,并连接意图识别组件与该组件,单击该组件进行配置操作。提问器组件参数配置见图9。 其中,请将“高级配置 > Prompt提示词”中的内容替换为:
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 单击左侧“模型开发 > 模型部署”。 调用已部署的模型。单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。 图2 获取已部署模型的调用路径 调用预置服务。在“预置服务”页签中,选择所需调用的NLP大模型,单
创建工作流时,工作流默认包含了开始、结束和大模型组件,每个组件需要配置不同的参数,如组件配置、输入和输出参数等。基于该工作流,开发者可通过拖、拉、拽可视化组件等方式添加更多的组件,实现复杂业务流程的编排,从而快速构建Agent。 工作流方式主要面向目标任务包含多个复杂步骤、对输出结果成功率和准确率有严格要求的复杂业务场景。
左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息,单击“下一步”。 配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组,单击“创建用户”,完成IAM用户的创建。
参数-类型-解释表中\n\n以下是你的思考过程:\n步骤1.根据用户问题从指标-解释表中得到metrics中caption的值,格式为:\"metrics\":[{\"caption\":\"xx\"}],不要超过两个\n步骤2.根据用户问题从参数-类型-解释表中得到dimens
大气、陆地和海洋气候变量的估计值。 ERA5数据下载官方指导:https://confluence.ecmwf.int/display/CKB/How+to+download+ERA5 高空变量数据下载链接:https://cds.climate.copernicus.eu/da
能。 模型压缩:在模型部署前,进行模型压缩是提升推理性能的关键步骤。通过压缩模型,能够有效减少推理过程中的显存占用,节省推理资源,同时提高计算速度。当前,平台支持对NLP大模型进行压缩。 模型部署:平台提供了一键式模型部署功能,用户可以轻松将训练好的模型部署到云端或本地环境中。平
对于无样本的任务,可以采用让模型分步思考的方法来分解复杂推理或数学任务,在问题的结尾可以加上“分步骤解决问题”或者“让我们一步一步地思考”,以引导大模型进行逐步的推理和解答。 通过上述指令,将一个推理任务拆解分步骤进行,可以降低推理任务的难度并可以增强答案可解释性。另外,相比直接输出答案,分步解
可以查看到调用链中该组件的输入和输出。 此外,平台支持配置构建应用所需的NLP大模型参数。 单击应用右上角的,打开大模型参数配置页面。配置参数见表1,完成大模型参数配置。 表1 大模型参数配置 参数 说明 模型选择 选择要使用的LLM,不同的模型效果存在差异。 模式选择 用于配置大模型的输出多样性。 包含取值: