检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用API调用Token计算器，详见《API参考》“API > Token计算器”。 NLP大模型训练类型选择建议 平台针对NLP大模型提供了两种训练类型，包括预训练、微调，二者区别详见表3。
表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题： 数据集清洗算子介绍
经过认证的请求总是需要包含一个签名值，该签名值以请求者的访问密钥（AK/SK）作为加密因子，结合请求体携带的特定信息计算而成。
例如，若是自然语言处理任务，可能需要大量的文本数据；如果是计算机视觉任务，则需要图像或视频数据。 数据预处理：数据预处理是数据准备过程中的重要环节，旨在提高数据质量和适应模型的需求。常见的数据预处理操作包括： 去除重复数据：确保数据集中每条数据的唯一性。
支持区域： 西南-贵阳一 开发盘古NLP大模型 开发盘古CV大模型 开发盘古预测大模型 开发盘古科学计算大模型 开发盘古专业大模型 应用开发工具链 应用开发工具链是盘古大模型平台的关键模块，支持提示词工程和智能Agent应用创建。
INT4：该压缩策略与INT8相比，可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后，系统将在本次压缩任务状态变更时，向用户发送短信/邮件提醒。 填写基本信息，包括任务名称、压缩后模型名称与描述，单击“立即创建”。
N-gram特征过滤 用于判断文档重复度，根据特征N值计算文档内词语按N值组合后的重复此时，可通过以下两种算法比较结果是否大于特征阈值，大于特征阈值的文档删除。 top-gram过滤：计算重复最多的garm占总长度的比例，大于特征阈值则删除。
另外，相比直接输出答案，分步解决也容许大模型有更多的“思考时间”，用更多的计算资源解决该问题。 自洽性 同一问题使用大模型回答多次，生成多个推理路径及答案，选择一致性最高的结果作为最终答案。 父主题： 提示词写作进阶技巧
此插件为Agent提供了强大的计算、数据处理和分析功能，用户只需将其添加到应用中，即可扩展功能。 自定义插件：为了满足更个性化的需求，平台允许开发者创建自定义插件，支持将API通过配置方式快速创建为插件，并供Agent调用。这样，开发者可以根据特定需求为应用增加专属功能。
物体检测-N模型为中参数量模型，在保证计算效率的同时，具备较强的特征识别能力，提供高效的性能表现。 父主题： 训练CV大模型
如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用服务的其他功能。 通过IAM，您可以在华为云账号中给员工创建IAM用户（子用户），并授权控制他们对华为云资源的访问范围。
通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平台支持多种部署模式，能够满足不同场景的需求。
这意味着在提示词中明确要求模型逐步分析问题的各个方面，帮助模型消耗更多的计算资源进行全面推理。这样，模型能够在多个推理步骤后得出更准确的结论，而不是直接跳到最终答案，减少了过度简化或跳跃推理的可能性。 分步推理与反馈：通过分步推理，模型能够在每个步骤后检查和修正自己的思考过程。
训练轮数越大，模型学习数据的迭代步数就越多，可以学得更深入，但过高会导致过拟合；训练轮数越小，模型学习数据的迭代步数就越少，过低则会导致欠拟合。 您可根据任务难度和数据规模进行调整。
分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2 获取训练日志 父主题： 训练NLP大模型
运动幅度评分 通过计算每个像素在每一帧中的移动范围进行评分，识别运动幅度过快（如＞100光流）或过慢（如≤2光流）的视频，数值越大表示运动过快。 质量基础评分 对视频的基础质量（清晰度、亮度、模糊、画面抖动重影、低光过曝、花屏等）进行评分。
分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图1 获取训练日志 父主题： 训练预测大模型
如果您的华为云账号已升级为华为账号，将不支持获取账号Token。建议为您自己创建一个IAM用户，获取IAM用户的Token。
分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图2 获取训练日志 父主题： 训练CV大模型
该阈值用于计算IoU（交并比），影响模型的精确度。 热身轮次 表示在模型训练初期，逐步增加学习率到预设值的训练轮次，用于帮助模型在训练初期稳定收敛，避免大幅度的参数更新导致不稳定的学习过程。 热身阶段学习率 热身轮次中使用的初始学习率。 优化器 优化器参数用于更新模型的权重。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
