使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前，需完成模型的部署操作，详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力，在输入框中输入问题，模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。 最大口令限制 用于控制聊天回复的长度和质量。 话题重复度控制 用于控制生成文本中的重复程度。调高参数模型会更频繁地切换话题，从而避免生成重复内容。 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用，促使模型使用更多样化的词汇进行表达。 历史对话保留轮数 选择“多轮对话”功能时具备此参数。表示系统能够记忆的历史对话数。 父主题： 调用NLP大模型

模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型，但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时，可选择全量升级或滚动升级两种方式： 全量升级：新旧版本的服务同时运行，直至新版本完全替代旧版本。在新版本部署完成前，旧版本仍可使用。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时，系统会先删除旧版本，再进行升级，期间旧版本不可使用。 图1 模型更新 图2 修改部署

NLP大模型训练类型选择建议 平台针对NLP大模型提供了两种训练类型，包括预训练和微调，二者区别详见表3。 表3 预训练和微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。 使用大规模通用数据：通常使用海量的无监督数据（如文本语料库、百科文章），这些数据覆盖广泛的领域和语言表达方式，帮助模型掌握广泛的知识。 适合广泛应用：经过预训练后，模型可以理解自然语言并具备通用任务的基础能力，但还没有针对特定的业务场景进行优化。预训练后的模型主要用于多个任务的底层支持。 通过使用海量的互联网文本语料对模型进行预训练，使模型理解人类语言的基本结构。 微调 关注专业性：微调是对预训练模型的参数进行调整，使其在特定任务中达到更高的精度和效果。微调的核心在于利用少量的特定任务数据，使模型的表现从通用性向具体任务需求过渡。 使用小规模的特定任务数据：微调通常需要小规模但高质量的标注数据，直接与目标任务相关。通过这些数据，模型可以学习到任务特定的特征和模式。 在特定任务上具有更高的准确性：微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力，微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中，可以用特定领域（如电商、保险）的对话数据对预训练模型进行微调，使其更好地理解和回答与该领域相关的问题。 此外，针对微调训练任务，平台提供了两种微调方式： 全量微调：适合有充足数据并关注特定任务性能的场景。在全量微调中，模型的所有参数都会调整，以适应特定任务的需求。这种方式适合样本量较大、对推理效果要求较高的任务。例如，在特定领域（如金融、医疗）中，若拥有大量标注数据，且需要更高的特定任务推理精度，则全量微调是优先选择。 LoRA微调：适用于数据量较小、侧重通用任务的情境。LoRA（Low-Rank Adaptation）微调方法通过调整模型的少量参数，以低资源实现较优结果，适合聚焦于领域通用任务或小样本数据情境。例如，在针对通用客服问答的场景中，样本量少且任务场景广泛，选择LoRA微调既能节省资源，又能获得较好的效果。 微调方式选择建议： 若项目中数据量有限或任务场景较为广泛，可以选择LoRA微调以快速部署并保持较高适用性。 若拥有充足数据且关注特定任务效果，选择全量微调有助于大幅提升在特定任务上的模型精度。 当前平台提供的NLP大模型的训练方式仅支持微调，不支持预训练。

NLP大模型训练流程介绍 NLP大模型专门用于处理和理解人类语言。它能够执行多种任务，如对话问答、文案生成和阅读理解，同时具备逻辑推理、代码生成和插件调用等高级功能。 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础，如阅读理解、文本生成和情感分析，但它还未能针对特定任务进行优化。 微调阶段：基于预训练的成果，微调阶段通过在特定领域的数据集上进一步训练，使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。

构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古NLP大模型数据集流程见表2。 表2 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本，上传至平台的数据将被创建为原始数据集进行统一管理。 创建原始数据集 上线原始数据集 在正式发布数据集前，需要执行上线操作。 上线原始数据集 加工数据集 创建文本类数据集加工任务 数据集中若存在异常数据，可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 说明： 盘古NLP大模型仅支持接入文本类数据集。 若数据类型为文档、网页，则加工数据集为必选项，否则为可选项。 创建文本类数据集加工任务 上线加工后的数据集 对加工后的数据集执行上线操作。 上线加工后的文本类数据集 标注数据集（可选） 创建文本类数据集标注任务 创建数据集标注任务，对数据集执行标注操作，标注后的数据可以用于模型训练或评测。 创建文本类数据集标注任务 审核数据集标注结果 对数据集的标注结果进行审核 审核文本类数据集标注结果 上线标注后的数据集 对标注后的数据集执行上线操作。 上线标注后的文本类数据集 评估数据集（可选） 创建文本类数据集评估标准 创建数据集评估标准。评估文本通顺性、信息充分性、内容有效性等。 创建文本类数据集评估标准 创建文本类数据集评估任务 创建数据集质量评估任务，基于评估标注对数据逐一评估其质量。 创建文本类数据集评估任务 获取数据集质量评估报告 查看数据集评估任务的进展和数据集质量。 获取文本类数据集评估报告 发布数据集 创建文本类数据集发布任务 创建发布数据集，并进行正式的发布操作，用于后续的训练任务。 平台支持发布的数据集格式为默认格式、盘古格式。 训练盘古NLP大模型需选择发布格式为盘古格式。 发布文本类数据集

响应示例 状态码： 200 OK 单轮问答 { "id": "e7c33de0-1245-42d9-a875-745845ce3b22", "created": 1724916022, "choices": [ { "index": 0, "message": { "role": null, "content": "长江是中国最长的河流，也是亚洲最长河流，世界第三长河流，仅次于尼罗河和亚马逊河。它发源于青海省的唐古拉山脉，流经中国的多个省份，最终在上海附近注入东海。长江流域覆盖了中国的东部和中部地区，流域面积超过180万平方公里，流域内人口众多，经济活动频繁。长江是中国的母亲河，对中国的农业、交通、历史和文化都有着深远的影响。它是重要的水资源，提供了大量的饮用水和灌溉水。同时，长江也是中国重要的内河航道，对于货物运输和经济发展具有重要作用。长江中的鱼类种类繁多，是中国淡水渔业的重要基地之一。长江中的典型鱼类包括：1. **中华鲟**：这是一种生活在长江中上游的大型鱼类，以其巨大的体型和古老的种类而闻名。中华鲟是一种濒危物种，主要原因是过度捕捞和生境破坏。2. **长江白鲟**：长江白鲟是长江特有的大型淡水鱼类，与中华鲟相似，也是一种濒危物种。长江白鲟 orangutanpuls.org的消失标志着长江生态系统出现了严重的问题。3. **草鱼**：草鱼是长江流域常见的淡水鱼类之一，以水草为食。它是中国淡水养殖的重要品种之一，对长江流域的渔业经济有重要贡献。4. **鲤鱼**：鲤鱼在长江中下游地区广泛分布，是一种重要的经济鱼类，广泛用于食用和养殖。5. **鳙鱼**（大银鱼）：这是一种小型鱼类，是长江中常见的经济鱼类之一，以其肉质鲜美而受到欢迎。6. **黄鳝**：黄鳝在长江流域的湿地和稻田中较为常见，是一种重要的食用鱼类，也是中国传统美食的原料之一。长江中的鱼类多样性体现了其丰富的生态系统，但近年来由于过度捕捞、生境破坏和污染等问题，长江中的许多鱼类种群数量急剧下降，特别是一些特有物种面临濒危。保护长江生态系统和其中的生物多样性已经成为当务之急。", "ppl": 8.468677045693822e-11 } } ], "usage": { "completion_tokens": 433, "prompt_tokens": 10, "total_tokens": 443 } } 单轮流式问答 data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "五"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "分别是"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "东"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "泰山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "、"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "西"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "华山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "、"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "南"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "衡"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "、"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "北"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "恒"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "和"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "中"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "嵩"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "。"}}]} data:[DONE] 带有人设的单轮问答（role参数值为system） { "id": "6f2a7219-f97b-426d-84ba-b7b11c58942a", "created": 1724916144, "choices": [ { "index": 0, "message": { "role": null, "content": "亲爱的小朋友们，你们好呀！今天我们要来聊一聊一条非常特别的大河——长江。长江是我们中国的一条非常长的河流，它从青藏高原出发，一直流到了上海，最后流入大海哦。长江好长好长，它是我们中国第一大河，也是世界上第三长的河流呢！长江不仅仅是一条河流，它还是很多鱼类的家园。在长江里，有一种鱼类是我们中国的特有物种，叫做中华鲟。中华鲟是一种非常古老的鱼类，它们可以活很久很久，甚至可以活到一百岁呢！但是，因为环境的变化和一些人类的活动，中华鲟的数量变得非常少了，所以我们一定要好好保护它们。除了中华鲟，长江里还有很多其他的鱼类，比如长江刀鱼、江豚鱼等等。每一种鱼都有它们独特的生活习性和特点，它们和长江一起，构成了一个多彩多姿的水世界。那么小朋友们，你们知道长江还有哪些有趣的事情吗？或者你们知道还有哪些鱼类生活在长江里呢？我们可以一起想象和探索哦！", "ppl": 1.6271554153410462e-20 } } ], "usage": { "completion_tokens": 220, "prompt_tokens": 47, "total_tokens": 267 } } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "小朋友们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": ","}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "今天我们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "要"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "学习"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "一首"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "诗歌"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "。"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "你们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "准备好"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933299, "choices": [{"message": {"content": "了吗"}}]} ... data:[DONE] 多轮问答 # 多轮请求示例返回的结果如下 { "id": "4e2b7961-c4b2-4263-8e4c-6f0467ebddcb", "created": 1724916330, "choices": [ { "index": 0, "message": { "role": null, "content": "当然，以下是关于湖南的两个著名景点——长沙岳麓山和张家界天门山的详细介绍：\n\n### 长沙岳麓山\n\n**概述**：\n岳麓山位于湖南省长沙市西部，是长沙市最著名的风景区之一。它以其秀丽的自然风光和丰富的文化底蕴而闻名。\n\n**自然风光**：\n岳麓山海拔约300米，山势起伏，植被茂密。山上绿树成荫，四季常绿，有多处名胜古迹。登山路径多样，有步行道、缆车和电梯等，游客可以选择适合自己的方式。\n\n**文化底蕴**：\n岳麓山自古以来就是文人墨客的胜地。山上有许多古代建筑和名胜古迹，如岳麓书院、党家祠堂、爱晚亭等。岳麓书院是中国古代四大书院之一，始建于北宋时期，现存建筑多为明清时期所建，是中国保存最完好的古代书院之一。爱晚亭是清代著名书法家彭玉麟所建，取意唐代诗人王维的《山居秋暝》。\n\n**旅游活动**：\n岳麓山不仅有自然美景，还有丰富的文化活动。每年春节期间，山上eutic灯会吸引了大量游客。此外，山上的橘子洲头是毛泽东青年时期的重要活动场所，也是游客了解中国现代历史的好地方。\n\n### 张家界天门山\n\nJesus Christ**概述 扫地僧身份曝光：\n张家界天门山位于湖南省张家界市，是世界自然遗产地，以其独特的喀斯特地貌和壮丽的自然景观而闻名。\n\n**自然风光**：\n张家界天门山海拔约1300米，山势险峻，[unused5]景点如天门洞、天门山索道、玻璃栈道等，吸引了大量游客。天门洞是山间的一个巨大天然洞穴，高131.5米，宽57米，深60米，是张家界最具代表性的景点之一。\n\n**文化底蕴**：\n天门山不仅自然景观壮丽，还有丰富的文化传说。天门洞被认为是通往天界的门户，自古以来就是人们朝拜和祈福的地方。山上的天门寺建于唐代，是湖南地区重要的佛教圣地。\n\n**旅游活动**：\n天门山有多条旅游线路，其中最著名的是天门山索道，全长7455米，是世界上单程最长的缆车之一。游客可以通过缆车快速到达山顶，欣赏沿途的壮丽景色。此外，天门山玻璃栈道是全亚洲最长、最高的玻璃栈道，给游客带来刺激的体验。\n\n这两个景点不仅展示了湖南的自然美景，还体现了其深厚的文化底蕴，是了解湖南人文风情的绝佳选择。", "ppl": 5.964045702630172e-39 } } ], "usage": { "completion_tokens": 569, "prompt_tokens": 117, "total_tokens": 686 } } 多轮流式问答（stream参数值为true） data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "张家界"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "位于"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "湖南省"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "西北部"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": ","}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "地处"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "武"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "陵"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "山脉"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "中"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "段"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "。"}}]} data:[DONE]

请求示例 单轮问答 POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... Request Body: { "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 单轮流式问答（stream参数值为true） { "messages": [ { "content": "五岳分别是哪些山" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 带有人设的单轮问答（role参数值为system） { "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） { "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "写一首诗" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 多轮问答 # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "content": "提到的湖南景点，详细说明下" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600 } 多轮流式问答（stream参数值为true） # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "content": "张家界具体在哪里" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" }

响应示例 状态码： 200 OK 单轮问答 { "id": "e7c33de0-1245-42d9-a875-745845ce3b22", "created": 1724916022, "choices": [ { "index": 0, "message": { "role": null, "content": "长江是中国最长的河流，也是亚洲最长河流，世界第三长河流，仅次于尼罗河和亚马逊河。它发源于青海省的唐古拉山脉，流经中国的多个省份，最终在上海附近注入东海。长江流域覆盖了中国的东部和中部地区，流域面积超过180万平方公里，流域内人口众多，经济活动频繁。长江是中国的母亲河，对中国的农业、交通、历史和文化都有着深远的影响。它是重要的水资源，提供了大量的饮用水和灌溉水。同时，长江也是中国重要的内河航道，对于货物运输和经济发展具有重要作用。长江中的鱼类种类繁多，是中国淡水渔业的重要基地之一。长江中的典型鱼类包括：1. **中华鲟**：这是一种生活在长江中上游的大型鱼类，以其巨大的体型和古老的种类而闻名。中华鲟是一种濒危物种，主要原因是过度捕捞和生境破坏。2. **长江白鲟**：长江白鲟是长江特有的大型淡水鱼类，与中华鲟相似，也是一种濒危物种。长江白鲟 orangutanpuls.org的消失标志着长江生态系统出现了严重的问题。3. **草鱼**：草鱼是长江流域常见的淡水鱼类之一，以水草为食。它是中国淡水养殖的重要品种之一，对长江流域的渔业经济有重要贡献。4. **鲤鱼**：鲤鱼在长江中下游地区广泛分布，是一种重要的经济鱼类，广泛用于食用和养殖。5. **鳙鱼**（大银鱼）：这是一种小型鱼类，是长江中常见的经济鱼类之一，以其肉质鲜美而受到欢迎。6. **黄鳝**：黄鳝在长江流域的湿地和稻田中较为常见，是一种重要的食用鱼类，也是中国传统美食的原料之一。长江中的鱼类多样性体现了其丰富的生态系统，但近年来由于过度捕捞、生境破坏和污染等问题，长江中的许多鱼类种群数量急剧下降，特别是一些特有物种面临濒危。保护长江生态系统和其中的生物多样性已经成为当务之急。", "ppl": 8.468677045693822e-11 } } ], "usage": { "completion_tokens": 433, "prompt_tokens": 10, "total_tokens": 443 } } 单轮流式问答 data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "五"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "分别是"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "东"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "泰山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "、"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "西"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "华山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "、"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "南"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "衡"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "、"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "北"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933186, "choices": [{"message": {"content": "恒"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "和"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "中"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "岳"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "嵩"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "山"}}]} data:{"id": "19efea5b-3661-476d-a091-24e2f4432932", "created": 1687933187, "choices": [{"message": {"content": "。"}}]} data:[DONE] 带有人设的单轮问答（role参数值为system） { "id": "6f2a7219-f97b-426d-84ba-b7b11c58942a", "created": 1724916144, "choices": [ { "index": 0, "message": { "role": null, "content": "亲爱的小朋友们，你们好呀！今天我们要来聊一聊一条非常特别的大河——长江。长江是我们中国的一条非常长的河流，它从青藏高原出发，一直流到了上海，最后流入大海哦。长江好长好长，它是我们中国第一大河，也是世界上第三长的河流呢！长江不仅仅是一条河流，它还是很多鱼类的家园。在长江里，有一种鱼类是我们中国的特有物种，叫做中华鲟。中华鲟是一种非常古老的鱼类，它们可以活很久很久，甚至可以活到一百岁呢！但是，因为环境的变化和一些人类的活动，中华鲟的数量变得非常少了，所以我们一定要好好保护它们。除了中华鲟，长江里还有很多其他的鱼类，比如长江刀鱼、江豚鱼等等。每一种鱼都有它们独特的生活习性和特点，它们和长江一起，构成了一个多彩多姿的水世界。那么小朋友们，你们知道长江还有哪些有趣的事情吗？或者你们知道还有哪些鱼类生活在长江里呢？我们可以一起想象和探索哦！", "ppl": 1.6271554153410462e-20 } } ], "usage": { "completion_tokens": 220, "prompt_tokens": 47, "total_tokens": 267 } } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "小朋友们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": ","}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "今天我们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "要"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "学习"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "一首"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "诗歌"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "。"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "你们"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933298, "choices": [{"message": {"content": "准备好"}}]} data:{"id": "cc4dfd25-27d0-41ca-a940-c78313f6785c", "created": 1687933299, "choices": [{"message": {"content": "了吗"}}]} ... data:[DONE] 多轮问答 # 多轮请求示例返回的结果如下 { "id": "4e2b7961-c4b2-4263-8e4c-6f0467ebddcb", "created": 1724916330, "choices": [ { "index": 0, "message": { "role": null, "content": "当然，以下是关于湖南的两个著名景点——长沙岳麓山和张家界天门山的详细介绍：\n\n### 长沙岳麓山\n\n**概述**：\n岳麓山位于湖南省长沙市西部，是长沙市最著名的风景区之一。它以其秀丽的自然风光和丰富的文化底蕴而闻名。\n\n**自然风光**：\n岳麓山海拔约300米，山势起伏，植被茂密。山上绿树成荫，四季常绿，有多处名胜古迹。登山路径多样，有步行道、缆车和电梯等，游客可以选择适合自己的方式。\n\n**文化底蕴**：\n岳麓山自古以来就是文人墨客的胜地。山上有许多古代建筑和名胜古迹，如岳麓书院、党家祠堂、爱晚亭等。岳麓书院是中国古代四大书院之一，始建于北宋时期，现存建筑多为明清时期所建，是中国保存最完好的古代书院之一。爱晚亭是清代著名书法家彭玉麟所建，取意唐代诗人王维的《山居秋暝》。\n\n**旅游活动**：\n岳麓山不仅有自然美景，还有丰富的文化活动。每年春节期间，山上eutic灯会吸引了大量游客。此外，山上的橘子洲头是毛泽东青年时期的重要活动场所，也是游客了解中国现代历史的好地方。\n\n### 张家界天门山\n\nJesus Christ**概述 扫地僧身份曝光：\n张家界天门山位于湖南省张家界市，是世界自然遗产地，以其独特的喀斯特地貌和壮丽的自然景观而闻名。\n\n**自然风光**：\n张家界天门山海拔约1300米，山势险峻，[unused5]景点如天门洞、天门山索道、玻璃栈道等，吸引了大量游客。天门洞是山间的一个巨大天然洞穴，高131.5米，宽57米，深60米，是张家界最具代表性的景点之一。\n\n**文化底蕴**：\n天门山不仅自然景观壮丽，还有丰富的文化传说。天门洞被认为是通往天界的门户，自古以来就是人们朝拜和祈福的地方。山上的天门寺建于唐代，是湖南地区重要的佛教圣地。\n\n**旅游活动**：\n天门山有多条旅游线路，其中最著名的是天门山索道，全长7455米，是世界上单程最长的缆车之一。游客可以通过缆车快速到达山顶，欣赏沿途的壮丽景色。此外，天门山玻璃栈道是全亚洲最长、最高的玻璃栈道，给游客带来刺激的体验。\n\n这两个景点不仅展示了湖南的自然美景，还体现了其深厚的文化底蕴，是了解湖南人文风情的绝佳选择。", "ppl": 5.964045702630172e-39 } } ], "usage": { "completion_tokens": 569, "prompt_tokens": 117, "total_tokens": 686 } } 多轮流式问答（stream参数值为true） data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "张家界"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "位于"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "湖南省"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "西北部"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": ","}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "地处"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "武"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "陵"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "山脉"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "中"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "段"}}]} data:{"id": "446ce2d4-0989-4599-960b-9aa61a9cfc68", "created": 1687933826, "choices": [{"message": {"content": "。"}}]} data:[DONE]

请求示例 单轮问答 POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... Request Body: { "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 单轮流式问答（stream参数值为true） { "messages": [ { "content": "五岳分别是哪些山" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 带有人设的单轮问答（role参数值为system） { "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） { "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "写一首诗" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 多轮问答 # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "content": "提到的湖南景点，详细说明下" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600 } 多轮流式问答（stream参数值为true） # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "content": "张家界具体在哪里" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" }