检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑: 数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、
包年/包月和按需计费模式是否支持互相切换 包年/包月和按需计费模式支持互相切换: 盘古大模型提供包周期计费、按需计费两种计费模式,两种计费模式可通过重新订购互相切换。 例如,退订训练单元的包周期资源后,可重新订购训练单元的按需计费,即可完成切换。 父主题: 计费FAQ
"target": "我是盘古大模型"} 盘古格式:训练盘古大模型时,需要将数据集格式发布为“盘古格式”。 在盘古格式中,context和target是键值对。与默认格式不同,context是一个数组,示例如下: {"context":["你好,请介绍自己"],"target":"我是盘古大模型"}
同一资源是否同时支持包年/包月和按需计费两种模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费。 数据智算单元、数据通算单元默认采用按需计费。 训练单元采用包周期和按需计费两种方式。 两种计费方式不能共存,只支持按照一种计费方式进行订购。 父主题: 计费FAQ
单个评测集:由用户指定评测指标(F1分数、准去率、BLEU、Rouge)并上传评测数据集进行评测。 选择“单个评测集”时需要上传待评测数据集。 评测结果存储位置 模型评测结果的存储位置。 基本信息 评测任务名称 填写评测任务名称。 描述 填写评测任务描述。 参数填写完成后,单击“立即创建”,回退至“模型评测
盘古预测大模型是面向结构化数据,通过任务理解、模型推荐、模型融合技术,构建通用的预测能力。 ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域
数据量和质量均满足要求,为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的,建议您排查: 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或
访问密钥”页面,依据界面操作指引获取Access Key(AK)和Secret Access Key(SK)。下载的访问密钥为credentials.csv文件,包含AK/SK信息。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。 发布预测类数据集
数据工程介绍 数据工程是ModelArts Studio大模型开发平台(下文简称“平台”)为用户提供的一站式数据处理与管理功能,旨在通过系统化的数据获取、加工、发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提升数据质量和处理效率,为大模型开发提供坚实的数据基础。
INT8:该压缩策略将模型参数压缩至8位字节,可以有效降低推理显存占用。 INT4:该压缩策略与INT8相比,可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后,系统将在本次压缩任务状态变更时,向用户发送短信/邮件提醒。
发、优化和部署应用智能体。无论您是新手还是有经验的开发者,都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能,快速实现智能体应用的开发与落地,加速行业AI应用的创新与应用。 对于零码开发者(无代码开发经验的用户): 平台提供了Prompt提示词工程和插件自定
准确率。 思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程,可以使其在推理任务中得到更高的准确性,尤其是在涉及多步推理和复杂逻辑关系的任务中。 具体做法如下: 提供相关示例:在提示词中加入类似的示例,帮助模型学习解题的模式和思路。通过这些示
用于描述海洋表面及其生态系统状态的具体指标,尤其是在海洋模型中用于模拟海洋生态和物理过程的输入变量。包括海平面气压、海表高度、总叶绿素浓度、叶绿素浓度、硅藻浓度、颗石藻浓度、蓝藻浓度、铁浓度、硝酸盐浓度、混合层深度、海表高度、有效波高等指标。不同模型的指标以页面展示为准。 深海变量 用于描述海洋深层的物理和化学特性,
评估图片类数据集、评估视频类数据集 配比图片类数据集 数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。 配比图片类数据集 流通图片、视频类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。
图片类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片,并对图片进行结构化解析(BASE64编码)。 数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据清洗。 图文文本长度过滤 过滤文本长度不在“文本长度范围”内
足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-CV-ObjectDetection-N-2.1.0 2024年12月发布的版本,支持全量微调、在线推理。 在选择和使用盘古大模
为什么多轮问答场景的盘古大模型微调效果不好 当您的目标任务是多轮问答,并且使用了多轮问答数据进行微调,微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查: 数据格式:多轮问答场景需要按照指定的数据格式来构造,问题需要拼接上历史所有轮对话的问题和回答。比如,当前是第三轮对话,数据中的
创建推理作业API后,在这个API基础上去除末尾的/tasks即是域名。 表1 路径参数 参数 是否必选 参数类型 描述 task_id 是 String 推理作业的ID。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 id String
展数据集,增强训练模型的多样性和泛化能力。 合成文本类数据集 标注文本类数据集 为无标签数据集添加准确的标签,确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注文本类数据集 发布文本类数据集