检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前必读 概述 调用说明 请求URI 基本概念
点，包含本次调用的全量响应信息。 done，流式调用结束节点，表示流式响应结束。 content Object 消息块内容，不同event的消息块内容不同。 createdTime long 消息块返回的时间戳，如1733817348963。 latency Object 耗时，包括以下三个元素：
盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 盘古格式的示例如下，其中，context和target是键值对。与标准格式不同，context是一个数组。 {"context":["你好，请介绍自己"],"target":"我是盘古大模型"} 创建文本类数据集发布任务
平台还提供全链路信息观测和调试工具，支持开发者深入分析Agent执行过程中的每个环节。通过对信息进行分层展示，帮助开发者优化AI应用的性能和稳定性，确保应用在不同环境下的顺畅运行。 对于低码开发者（具有一定代码开发经验的用户）： 基于上述功能，平台还提供了灵活的工作流设计功能，支持用户编写少量代码来
在气象预报中，集合预报是指对初始场加入一定程序的扰动，使其生成一组由不同初始场预报的天气预报结果，从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性，从而提高预报的准确性和可靠性。 集合成员数 用于选择生成预报的不同初始场的数量，取值为2~10。 扰动类型 用于选择生成集
请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。
获取模型部署ID 模型部署ID获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图1
模型等），可以在保证翻译效率的同时，提升翻译质量，并根据实际场景和用户需求进行灵活调整。 本章将详细介绍如何利用不同的节点构建一个高效的多语言文本翻译工作流，并确保不同用户需求（如普通对话、文本翻译）能够被准确识别和处理。 工作流节点设计 选取工作流的几个重要节点，每个节点负责特
成部分，具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据
量级的sft数据，问答模块使用了6万量级的sft数据 ，包括单轮问答、多轮问答。中控模块使用了1万量级的sft数据。 针对不同的任务类型，所需数据量会所有不同。从经验上来说，对于简单的任务，数据量的要求会少一点，如3000到5000条；对于复杂的任务，需要的数据条数更大一些，如2
数据发布不仅仅是将数据转换为不同格式，还包括根据任务需求评估数据集效果，确保数据在规模、质量和内容上满足训练标准。具体而言，数据发布具备以下几个重要意义： 多格式支持 对于文本类、图片类数据集，平台支持多种数据发布格式，包括“标准格式”、“盘古格式”，以满足不同训练任务的需求。通过这些
多个典型场景中，提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1
Java、Python、Go、.NET、NodeJs、PHP 给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求： Java SDK适用于JDK
安全 责任共担 身份认证与访问控制 数据保护技术 审计
配比任务”，单击界面右上角“创建配比任务”。 在“数据集选择”页签选择需要配比的文本类数据集（至少选择两个），单击“下一步”。 在“数据配比”页面，可以设置不同数据集的配比数量，单击“确定”。 页面将返回至“数据配比”页面，配比任务运行成功后，状态将显示为“运行成功”。 单击操作列“生成”，将生成“发布数据集”。
鸭脖\n\n"} 数据增强 数据增强的典型方法如下： 多样化数据来源 ：通过从多种来源获取数据，增加数据的多样性。这包括不同话题、不同提问风格、涉及多语言的时候还可以采用不同语言的训练数据，以提高模型的泛化能力。 例如：需要微调医疗问答场景，可以获取多种医疗问答数据，比如中文医药方面的问
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明：https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题： 安全
具链作为平台的重要组成部分，具备数据获取、数据加工和数据发布等功能，确保数据的高质量与一致性。工具链能够高效收集并处理各种格式的数据，满足不同训练任务的需求，并提供强大的数据存储和管理能力，为大模型训练提供坚实的数据支持。 模型开发工具链：模型开发工具链是盘古大模型服务的核心组件
步骤1：获取文本翻译服务Token与调用地址 在创建多语言文本翻译工作流的实践中，需要调用华为云文本翻译服务API，调用前需获取文本翻译服务的Token，获取Token步骤如下： 使用IAM账号进入API Explorer服务，在左上角选择“统一身份认证服务”，单击“Token管理 > 获取IAM用户Token（使用密码）”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
