检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
性。 通过这些功能,平台不仅降低了标注成本,还为用户提供了灵活的定制化服务,满足不同业务场景的标注需求,确保为后续模型训练和优化提供高质量的数据支持。 数据标注意义 数据标注在数据工程中的作用是不可忽视的。它不仅是模型训练的基础,还直接影响到训练结果的准确性与有效性。通过标注,平
数据集中若存在异常数据,可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 创建气象类数据集加工任务 上线加工后的数据集 对加工后的数据集执行上线操作。 上线加工后的文本类数据集 发布数据集 创建气象类数据集发布任务 创建发布数据集,并进行正式的发布操作,用于后续的训练、评测任务。
例如,在训练CV类算法(如图片分类、图片分割、图片检测等任务)时,用户需使用“其他”类型的数据集。 其他类数据集可直接执行发布操作,但暂不支持数据加工、标注、评估等操作。 具体格式要求详见表1。 表1 其他类数据集格式要求 文件内容 文件格式 文件要求 图片+CV标注 图片+分割标注(图片+xml格式)
当需要删除空间内某个子用户时,可以按如下步骤操作: 登录ModelArts Studio大模型开发平台。 进入需要删除子用户的空间,在空间内单击左侧导航栏“空间管理”,并进入“成员管理”页面。 单击用户列表操作栏的“删除”。 图11 成员管理 单击“确定”进行二次确认,即可删除空间子用户。 图12 删除操作二次确认
平台提供对Agent执行过程的全链路信息观测与调试调优,通过对信息的分层分析和展示,为开发者提供了AI应用在不同层级的运行情况指导和操作,提升观测和调试效率。通过Insight提供了Agent的运行和观测能力。创建并运行Agent后,可通过单击Insight查看该Agent的执行信息。当前仅支持对知识性应用进行观测和调试。
可靠性。数据评估的主要意义体现在以下几个方面: 确保数据质量:通过评估数据集的准确性、完整性和一致性,用户可以及时发现并修复数据中的问题,确保数据符合训练标准。 提升模型性能:高质量的数据集直接影响模型的训练效果。通过准确的评估,用户能够确保数据集的高质量,进而提升模型的性能和精度。
言模型交互、对接,以及理解大语言模型能力方面都起着重要作用。用户可以通过提示词工程来提高大语言模型的安全性,还可以赋能大语言模型,如借助专业领域知识和外部工具来增强大语言模型的能力。 提示词基本要素 您可以通过简单的提示词(Prompt)获得大量结果,但结果的质量与您提供的信息数
型数据。平台提供灵活的数据接入方式,确保不同业务场景下的数据获取需求得到满足。 数据加工:平台提供强大的数据加工功能,涵盖数据清洗、过滤等操作,确保原始数据满足业务需求和模型训练的要求。针对不同类型的数据集,平台提供了专用的加工算子,有效提升数据质量并支持大规模数据处理,确保生成的数据集符合训练的标准。
单击组件右上角的,可以进行组件的重命名、复制、删除操作。开始和结束组件为必选组件,无法删除。 图6 组件的重命名、复制、删除操作 鼠标拖动左侧“意图识别”组件至编排页面,并连接开始组件和意图识别组件。单击意图识别组件进行配置操作。 图7 连接组件操作 在“参数配置”中,配置输入参数。 参数
中期天气要素预测模型的训练类型选择建议: 中期天气要素预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的中期天气要素预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下: 预训练:训练用于添加新的高空层次、高空变量或表面变量。如果您需要在现
文本对话功能。您将学习如何通过API接口发送请求,传递对话输入,并接收模型生成的智能回复。通过这一过程,您可以快速集成NLP对话功能,使应用具备自然流畅的交互能力。 准备工作 调用盘古NLP大模型API实现文本对话前,请确保您已完成NLP大模型的部署操作,详见《用户指南》“开发盘古NLP大模型
模型在部署前,通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。当前仅支持对NLP大模型进行压缩。采用的压缩方式是INT8,INT8量化压缩可以显著减小模型的存储大小,降低功耗,并提高计算速度。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1
续费 包周期服务到期后,您可以通过手动续费来延长服务的有效期。 包周期服务到期后,如果在保留期结束前未完成续费,后续则不能再对已过保留期的服务进行续费操作,需重新购买对应的服务。
署特性。 在选择和使用盘古大模型时,了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同,开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作: 表2 盘古NLP大模型支持的能力 模型 预训练 微调
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String
String 集合预报的加噪方式。可选:{"perlin", "cnop"}。 peilin噪音通过对输入数据(比如空间坐标)进行随机扰动,让模拟出的天气接近真实世界中的变化。 cnop噪音通过在初始场中引入特定的扰动来研究天气系统的可预报性,会对扰动本身做一定的评判,能够挑选出预报结
P大模型进行对话问答。您将学习如何通过调试模型超参数,实现智能化对话问答功能。 准备工作 请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。
、训练任务详情和训练日志。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。
在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。
加工后的气象类数据集需要执行上线操作,用于后续的数据发布操作,具体步骤如下: 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据加工”,在数据集操作列单击“上线”,执行上线操作。 单击数据集名称查看加工任