华为云用户手册

响应示例 { "sub_queries": [ "今天天气怎样？" ], "category": "天气类", "calculation": false, "timeliness": true, "language": "zh", "output_language": "", "date_range": "2025-05-15~2025-05-15", "cost": 164.17336463928223 }

响应参数 状态码：200 表4 响应Body参数 参数 参数类型 描述 category String Query分类，对于行业知识类，建议使用前缀匹配。 闲聊类：坐火车累死了 语言任务类：请创作一封约460字的邮件，主题是咨询一个新的IT项目的细节，这个邮件将被发送给公司的IT项目经理。 人设类：你叫什么名字 通用知识类：豆汁和豆浆的区别 天气类：明天北京天气 行业知识类： 行业知识类-金融：贷款重组的定义是什么? 行业知识类-政务：《国务院关于印发新一代人工智能发展规划的通知》的指导思想是什么？ 行业知识类-制造： 行业知识类-医疗：儿童便秘市面上常见西药是什么？对于未考虑到行业知识类的细分类别，一般会分为"行业知识类" sub_queries List[String] 多轮改写和复杂问题分解之后的子查询问题，可能包含多个值。 language String 查询语言，编码对应 ISO 639-1。 zh：中文 en：英文 ar：阿语 fr：法语 th：泰语 mix：混合 unknown：未知 timeliness boolean 时效性查询，比如今天天气怎么样 date_range String 从query中抽取时间范围，抽取结果如： query: 2022年全网最高用电负荷最大时，外电入鲁电力是多少？ date_range : 2022-01-01~2022-12-31 query: 华为一季度收入 date_range : 2024-01-01~2024-03-31 query: 今日时间 date_range: 2024-04-01 query: 2023年11月30日配套储能放电量是多少？ date_range: 2023-11-30~2023-11-30 query: 两天前北京发生了什么大事 date_range: 2024-03-30~2024-03-30 当有多个子query时，用";"拼接如： query: 2023年第一季度山东和山西的GDP date_range: 2023-01-01~2023-03-31;2023-01-01~2023-03-31 calculation boolean 计算类查询，比如经济增长率。 output_language String query是否涉及“请用xx语言回答”这样的表述，即会输出对应语言编码。如zh、en、ar、fr、th。无结果则输出""。 查询语言，编码对应 ISO 639-1。 cost float 请求处理耗时，单位ms。 状态码： 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误信息

请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表 请求Header参数（API Key认证）。 表2 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表3 请求Body参数 参数 是否必选 参数类型 描述 query 是 String 参数解释： query信息。 约束限制： 字符串长度限制：1~1024 取值范围： 不涉及 默认取值： 不涉及 history 否 List[String] 参数解释： 多轮对话的query和answer。实现逻辑如下： 只参考最近5轮对话。 对话历史和问题总长度1000token，超长会按照特定逻辑截断。 问题只参考前500字。 约束限制： 元素必须为偶数个，如 [Question1, Answer1, Question2, Answer2] 按照对话顺序从旧到新。 问题 Question 必填。 答案 Answer 可以为空字符串，但必须占位。 取值范围： 数组长度限制：0~50 字符串长度限制：0~4096 默认取值： 不涉及

响应示例 { "dataset_id": "1341002014632579072", "result": [ { "apparel_category": "女西服上衣", "appearance_tag": { "pantone_no": [ "#7D2027", "#252629", "#482A2B" ], "pantone_color": "红色", "pattern": "条纹", "fabric_color": "红色", "season_year": "AW", "style": "意式休闲" }, "craft_tag": { "collar_style": "戗驳头", "chest_pocket_style": "正常胸袋", "front_button_count": "双排四扣二" }, "location": { "apparel_category": [ [ 1678, 1564, 2620, 3038 ] ], "craft_tag": { "collar_style": [ [ 1868, 1563, 2400, 2340 ] ], "chest_pocket_style": [ [ 2258, 1905, 2428, 1989 ] ], "front_button_count": [ [ 2028, 2330, 2266, 2638 ] ] } }, "confidence": { "appearance_tag": { "pantone_color": 99, "pattern": 62, "fabric_color": 99, "season_year": 99, "style": 99 }, "craft_tag": { "collar_style": 93, "chest_pocket_style": 70, "front_button_count": 91 }, "apparel_category": 98 } } ] }

请求示例 简单场景请求示例 { "image" : "/9j/4AAQSkZJRgABAgEASABIAAD/4RFZRXhpZgAATU0AKgAAAAgABwESAAMAAAABAAEAAAEaAAUAAAABAAAAYgEbAA...", } 带高级参数的多标签分类请求示例 { "image" : "/9j/4AAQSkZJRgABAgEASABIAAD/4RFZRXhpZgAATU0AKgAAAAgABwESAAMAAAABAAEAAAEaAAUAAAABAAAAYgEbAA...", "max_entity_count" : 5, "confidence" : 20, "fully_mode": 0 }

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表3 请求Body参数 参数 是否必选 参数类型 描述 image 是 String 参数解释： 被检测图片的base64编码。 约束限制： 要求base64编码后大小不超过10M，最短边至少1px，最长边最大10000px，支持JPEG/PNG/BMP/WEBP格式。 取值范围： 不涉及 默认取值： 不涉及 confidence 否 Integer 参数解释： 置信度的阈值。 约束限制： 不涉及 取值范围： [0,100) 默认取值： 40 max_entity_count 否 Integer 参数解释： 最多返回的实体数（最多10个，最少为1个）。 取值范围： [1,10] 默认取值： 5 fully_mode 否 Integer 参数解释： 是否开启全量二级标签展示模式，即打开全量工艺二级标签展示模式，输出全量的二级标签结果，不属于检测到的对应服装品类的二级标签字段也会输出，只是其结果为空字符串。如果需要仅输出属于对应服装品类的工艺二级标签，可以设置为0。 取值范围： [0, 1] 默认取值： 1

响应参数 状态码： 200 响应成功返回的结构体是一个Dict。 表4 响应Body参数 参数 参数类型 描述 result Array of 表5 ClothTaggingItemBody Objects 图像标签的识别结果。 dataset_id String 训练数据集ID。 表5 ClothTaggingItemBody 参数 参数类型 描述 confidence Dict 置信度。取值范围：[0,100)。 apparel_category String 服装品类。返回的服装类型，属于一级标签，目前包含11种大类，男西服、女西服、男西裤、女西裤、男衬衣、女衬衣、女西裙、女夹克、男夹克、女大衣、男大衣。 appearance_tag Dict of表6Objects 外观标签。属于二级标签，外观粗颗粒标签集合。 craft_tag Dict of表7Objects 工艺标签。属于三级标签，工艺细颗粒标签集合。 location Dict 外观标签和工艺细粒度标签的目标框在原图中的位置。输出左上和右下两个坐标。 表6 AppearanceTagObject 参数 参数类型 描述 season_year String 季节年份。 occasion String 场景。 style String 风格。 fabric_color String 面料颜色。 pattern String 花型。 pantone_no Array of String top 3的潘通色号。 pantone_cn Array of String top 3的中文潘通色号。 pantone_color String 中文潘通色号的大色系。 表7 CraftTagObject 参数 参数类型 描述 back_vent_style String 后背开衩形式。 vent_style String 开衩形式。 pocket_style String 口袋形式。 collar_stand String 领台。 collar_style String 领型。 placket_button_count String 门襟扣数。 front_placket_style String 门襟形式。 front_button_count String 前门扣数。 skirt_waist_style String 裙腰形式。 skirt_pleat_style String 裙褶形式。 hem_style String 下摆形式。 lower_pocket_style String 下口袋形式。 pocket_flap_style String 袋盖形式。 chest_pocket_style String 胸袋形式。 chest_dart_style String 胸省形式。 sleeve_vent_style String 袖花形式。 cuff_style String 袖口形式。 sleeve_button_style String 袖扣形式。 sleeve_style String 袖子形式。 belt_style String 腰带形式。 pleat_style String 褶皱形式。 back_style String 后背形式。 shoulder_yoke_style String 肩袢形式。 ticket_pocket_style String 票袋形式。 front_pocket_style String 前袋形式。 patch_fabric_style String 贴布形式。 sleeve_placket_style String 袖袢形式。 lower_opening_style String 下口形式。 patch_pocket_style String 表袋形式。 back_pocket_style String 后袋形式。 cuff_style String 脚口形式。 pant_waist_adjustment String 裤腰调节。 pant_waist_style String 裤腰形式。 pant_pleat_style String 裤褶形式。 waist_dart_style String 腰省形式。 skirt_waist_adjustment String 裙腰调节。 over_shoulder_style String 过肩形式。 back_vent_style String 后背开叉形式。

响应参数 状态码：200 表4 响应Body参数 参数 参数类型 描述 embedding List[List[Float]] embedding的结果 ret String 错误码 msg String 错误信息 cost Float 模型推理耗时 状态码： 400 表5 响应Body参数 参数 参数类型 描述 ret String 错误码 msg String 错误信息 embedding List[List[Float]] embedding的结果，当错误时，是为空 cost Float 处理时间

请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表 请求Header参数（API Key认证）。 表2 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表3 请求Body参数 参数 是否必选 参数类型 描述 query 是 String 参数解释： query信息；支持在线输入query的embedding 约束限制： 字符串长度限制：1~1000 取值范围： - 默认取值： - embedding_type 否 String 参数解释： embedding的两种模式 query2query和query2doc 约束限制： - 取值范围：query2query和query2doc 默认取值：query2doc

请求示例 非流式 V1推理接口： POST https://{endpoint}/v1/{project_id}/alg-infer/3rdnlp/service/{deployment_id}/v1/chat/completions Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... Request Body: { "model":"DeepSeek-V3", "messages":[ { "role":"user", "content":"你好" }] } V2推理接口： POST https://{endpoint}/api/v2/chat/completions Request Header: Content-Type: application/json Authorization: Bearer 201ca68f-45f9-4e19-8fa4-831e... Request Body: { "model":"DeepSeek-V3", "messages":[ { "role":"user", "content":"你好" }] } 流式（stream参数为true） V1推理接口： POST https://{endpoint}/v1/{project_id}/alg-infer/3rdnlp/service/{deployment_id}/v1/chat/completions Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... Request Body: { "model":"DeepSeek-V3", "messages":[ { "role":"user", "content":"你好" }], "stream":true } V2推理接口： POST https://{endpoint}/api/v2/chat/completions Request Header: Content-Type: application/json Authorization: Bearer 201ca68f-45f9-4e19-8fa4-831e... Request Body: { "model":"DeepSeek-V3", "messages":[ { "role":"user", "content":"你好" }], "stream":true }

响应示例 状态码： 200 OK 非流式问答响应 { "id": "chat-9a75fc02e45d48db94f94ce38277beef", "object": "chat.completion", "created": 1743403365, "model": "DeepSeek-V3", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好！有什么我可以帮助你的吗？", "tool_calls": [] }, "finish_reason": "stop" } ], "usage": { "prompt_tokens": 64, "total_tokens": 73, "completion_tokens": 9 } } 带有思维链的非流式问答响应 { "id": "81c34733-0e7c-4b4b-a044-1e1fcd54b8db", "model": "deepseek-r1_32k", "created": 1747485310, "choices": [ { "index": 0, "message": { "role": "assistant", "content": "\n\n你好！很高兴见到你，有什么我可以帮忙的吗？", "reasoning_content": "嗯，用户刚刚发了一个简短的“你好”，这是在用中文打招呼。首先我需要确认他们的需求是什么，可能只是想测试一下回复，或者有具体的问题要问。另外，我需要考虑是否需要用英文回应，但用户用了中文，用中文回复更合适吧。\n\n然后，我要确保回复友好且符合指南，不能涉及敏感内容。用户可能期待进一步的对话或者有问题需要帮助。这时候应该保持开放式的回答，邀请他们提出具体的问题或需求。比如，可以说“你好！很高兴见到你，有什么我可以帮忙的吗？”这样既礼貌又主动提供帮助。\n\n另外，注意避免使用任何格式或markdown，保持自然简洁。可能存在用户刚接触这个平台，不熟悉如何提问的情况，所以用鼓励的语气可能会更好。检查有没有任何拼写或语法错误，确保回复正确无误。\n", "tool_calls": [ ] }, "finish_reason": "stop" } ], "usage": { "completion_tokens": 184, "prompt_tokens": 6, "total_tokens": 190 } } 流式问答响应 V1推理接口返回体： data:{"id":"chat-97313a4bc0a342558364345de0380291","object":"chat.completion.chunk","created":1743404317,"model":"DeepSeek-V3","choices":[{"index":0,"message":{"role":"assistant"},"logprobs":null,"finish_reason":null}] data:{"id":"chat-97313a4bc0a342558364345de0380291","object":"chat.completion.chunk","created":1743404317,"model":"DeepSeek-V3","choices":[{"index":0,"message":{"content":"你好"},"logprobs":null,"finish_reason":null}]} data:{"id":"chat-97313a4bc0a342558364345de0380291","object":"chat.completion.chunk","created":1743404317,"model":"DeepSeek-V3","choices":[{"index":0,"message":{"content":"，有什么我能帮您的吗？"},"logprobs":null,"finish_reason":"stop","stop_reason":null}]} data:[DONE] V2推理接口返回体： data:{"id":"chat-97313a4bc0a342558364345de0380291","object":"chat.completion.chunk","created":1743404317,"model":"DeepSeek-V3","choices":[{"index":0,"delta":{"role":"assistant"},"logprobs":null,"finish_reason":null}] data:{"id":"chat-97313a4bc0a342558364345de0380291","object":"chat.completion.chunk","created":1743404317,"model":"DeepSeek-V3","choices":[{"index":0,"delta":{"content":"你好"},"logprobs":null,"finish_reason":null}]} data:{"id":"chat-97313a4bc0a342558364345de0380291","object":"chat.completion.chunk","created":1743404317,"model":"DeepSeek-V3","choices":[{"index":0,"delta":{"content":"，有什么我能帮您的吗？"},"logprobs":null,"finish_reason":"stop","stop_reason":null}]} data:[DONE] 带有思维链的流式问答响应 V1推理接口返回体： data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":6,"completion_tokens":0}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"嗯"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":7,"completion_tokens":1}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"，"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":8,"completion_tokens":2}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"用户发"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":10,"completion_tokens":4}} ... data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"生成"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":185,"completion_tokens":179}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"最终的"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":186,"completion_tokens":180}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"回复。\n"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":188,"completion_tokens":182}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"\n\n你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":191,"completion_tokens":185}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"！很高兴"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":193,"completion_tokens":187}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"见到"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":194,"completion_tokens":188}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"你"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":195,"completion_tokens":189}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"，有什么"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":197,"completion_tokens":191}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"我可以帮"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":199,"completion_tokens":193}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"您的吗"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":201,"completion_tokens":195}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"？"},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":203,"completion_tokens":197}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[],"usage":{"prompt_tokens":6,"total_tokens":203,"completion_tokens":197}} data:[DONE] V2推理接口返回体： data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":6,"completion_tokens":0}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"嗯"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":7,"completion_tokens":1}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"，"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":8,"completion_tokens":2}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"用户发"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":10,"completion_tokens":4}} ... data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"生成"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":185,"completion_tokens":179}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"最终的"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":186,"completion_tokens":180}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"回复。\n"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":188,"completion_tokens":182}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"\n\n你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":191,"completion_tokens":185}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"！很高兴"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":193,"completion_tokens":187}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"见到"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":194,"completion_tokens":188}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"你"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":195,"completion_tokens":189}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"，有什么"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":197,"completion_tokens":191}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"我可以帮"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":199,"completion_tokens":193}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"您的吗"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":201,"completion_tokens":195}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"？"},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":203,"completion_tokens":197}} data:{"id":"chat-cc897cfa872a4fc993a803bbddf9268a","object":"chat.completion.chunk","created":1747485542,"model":"DeepSeek-R1","choices":[],"usage":{"prompt_tokens":6,"total_tokens":203,"completion_tokens":197}} data:[DONE] 流式问答， 内容审核 不通过时的响应 event:moderation data:{"suggestion":"block","reply":"作为AI语言模型，我的目标是以积极、正向和安全的方式提供帮助和信息，您的问题超出了我的回答范围。"} data:[DONE]

响应参数 非流式 状态码： 200 表8 响应Body参数 参数 参数类型 描述 id String 用来标识每个响应的唯一字符串。形式为："chatcmpl-{random_uuid()}" object String 固定为"chat.completion" created Integer 响应生成的时间，单位：s。 model String 请求模型ID。 choices Array ofChatCompletionResponseChoice objects 生成的文本列表。 usage UsageInfo object 该对话请求的token用量信息。该参数可以帮助用户了解和控制模型的使用情况，避免超出Tokens限制。 prompt_logprobs Object 输入文本以及对应token的对数概率信息。 缺省值：null 表9 ChatCompletionResponseChoice 参数 参数类型 描述 message ChatMessage object 生成的文本内容。 index Integer 生成的文本在列表中的索引，从0开始。 finish_reason String 模型停止生成 token 的原因。 取值范围：[stop, length, content_filter, tool_calls, insufficient_system_resource] stop：模型自然停止生成，或遇到 stop 序列中列出的字符串。 length ：输出长度达到了模型上下文长度限制，或达到了 max_tokens 的限制。 content_filter：输出内容因触发过滤策略而被过滤。 tool_calls：模型决定调用外部工具（函数/API）来完成任务。 insufficient_system_resource：系统推理资源不足，生成被打断。 缺省值：stop logprobs Object 评估指标，表示推理输出的置信度。 缺省值：null stop_reason Union[Integer, String] 导致生成停止的token id或者字符串。如果是遇到EOS token则返回默认值。如果是因为用户请求参数参数中指定的stop参数中的字符串或者token id，则返回对应的字符串或者token id。不是openai接口标准字段，但vllm接口支持。 缺省值：None 表10 UsageInfo 参数 参数类型 描述 prompt_tokens Number 用户prompt中所包含的token数。 total_tokens Number 该次对话请求中，所有token的数量。 completion_tokens Number 推理模型所产生的答案的token数量。 表11 ChatMessage 参数 参数类型 描述 role String 生成这条消息的角色。固定为：assistant。 content String 对话的内容。 最小长度：1 最大长度：不同模型支持的token长度。 reasoning_content String 内容为在最终答案之前的推理内容（模型的思考过程）。 说明： 仅适用于 DeepSeek-R1 模型。 流式（stream参数为true） 状态码： 200 表12 流式输出的数据单元 参数 参数类型 描述 data CompletionStreamResponse object stream=true时，模型生成的消息以流式形式返回。生成的内容以增量的方式逐步发送回来，每个data字段均包含一部分生成的内容，直到所有data返回，响应结束。 表13 CompletionStreamResponse 参数 参数类型 描述 id String 该对话的唯一标识符。 created Integer 创建聊天完成时的 Unix 时间戳（以秒为单位）。流式响应的每个 chunk 的时间戳相同。 model String 生成该 completion 的模型名。 object String 对象的类型, 其值为 chat.completion.chunk。 choices ChatCompletionResponseStreamChoice 模型生成的 completion 的选择列表。 表14 ChatCompletionResponseStreamChoice 参数 参数类型 描述 index Integer 该 completion 在模型生成的 completion 的选择列表中的索引。 finish_reason String 模型停止生成 token 的原因。 取值范围：[stop, length, content_filter, tool_calls, insufficient_system_resource] stop：模型自然停止生成，或遇到 stop 序列中列出的字符串。 length ：输出长度达到了模型上下文长度限制，或达到了 max_tokens 的限制。 content_filter：输出内容因触发过滤策略而被过滤。 tool_calls：模型决定调用外部工具（函数/API）来完成任务。 insufficient_system_resource：系统推理资源不足，生成被打断。 状态码： 400 表15 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误信息。

URI NLP推理服务支持使用盘古推理接口（V1推理接口）调用，也支持使用业界通用的OpenAi格式接口（V2推理接口）调用。 V1接口、V2接口的鉴权方式不同，请求体和返回体略有差异。 表1 NLP服务推理接口 API分类 API访问路径（URI） V1推理接口 POST /v1/{project_id}/deployments/{deployment_id}/chat/completions V2推理接口 POST /api/v2/chat/completions 表2 V1推理接口路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。

请求参数 V1、V2推理接口的鉴权方式不同，请求参数与响应参数也有不同，说明如下： Header参数 V1接口支持Token鉴权方式，也支持API Key鉴权方式。两种鉴权方式请求Header参数说明如下： 使用Token认证方式的请求Header参数见表3。 表3 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表 请求Header参数（API Key认证）。 表4 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 V2接口只支持API Key鉴权方式。请求Header参数见表5 V2接口请求Header参数。 表5 V2接口请求Header参数（OpenAI格式的API Key认证） 参数 是否必选 参数类型 描述 Authorization 是 String 用户创建应用接入获取的API Key，拼接“Bearer ”后的字符串。示例：Bearer d59******9C3 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 请求Body参数 V1、V2推理接口请求Body参数一致，如表6。 表6 请求Body参数 参数 是否必选 参数类型 描述 messages 是 Array of ChatCompletionMessageParam objects 多轮对话问答对，包含两个属性：role和content。 role表示对话的角色，取值是system或user。 如果需要模型以某个人设形象回答问题，可以将role参数设置为system。不使用人设时，可设置为user。在一次会话请求中，人设只需要设置一次。 content表示对话的内容，可以是任意文本。 messages参数可以帮助模型根据对话的上下文生成合适的回复。 model 是 String 使用的模型ID，根据所部署的模型填写，填写DeepSeek-R1或DeepSeek-V3。 stream 否 boolean 流式开关。流式输出协议为SSE(Server-Sent Events）协议。 如果开启流式，请赋值true。开启流式开关后，API会在生成文本的过程中，实时地将生成的文本发送给客户端，而不是等到生成完成后一次性将所有文本发送给客户端。 缺省值：false temperature 否 Float 用于控制生成文本的多样性和创造力。 控制采样随机性的浮点数。一般来说，temperature越低，适合完成确定性的任务。temperature越高，如0.9，适合完成创造性的任务。值为 0 意味着贪婪采样。当取值超过1，会大概率出现效果不可用问题。 temperature参数可以影响语言模型输出的质量和多样性，但也不是唯一的因素。还有其他一些参数，如top_p参数也可以用来调整语言模型的行为和偏好，但不建议同时更改这两temperature和top_p。 最小值：0，建议不要低于1e-5 最大值：1.0 缺省值：1.0 top_p 否 Float 核采样参数。作为调节采样温度的替代方案，模型会考虑前 top_p 概率的 token 的结果。0.1 就意味着只有包括在最高 10% 概率中的 token 会被考虑。 建议修改这个值或者更改 temperature，但不建议同时对两者进行修改。 取值范围：（0.0, 1.0] 缺省值：0.8 说明： token是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或者计算。 max_tokens 否 Integer 生成文本的最大输出token数量。 输入的文本加上生成的文本总量不能超过模型所能处理的最大长度。 最小值：1 最大值：8192 缺省值：4096 presence_penalty 否 Float 用于调整模型对新Token的处理方式。即如果一个Token已经在之前的文本中出现过，那么模型在生成这个Token时会受到一定的惩罚。当presence_penalty的值为正数时，模型会更倾向于生成新的、未出现过的Token，即模型会更倾向于谈论新的话题。 最小值：-2 最大值：2 缺省值：0 （表示该参数未生效） frequency_penalty 否 Float 用于调整模型对频繁出现的Token的处理方式。即如果一个Token在训练集中出现的频率较高，那么模型在生成这个Token时会受到一定的惩罚。当frequency_penalty的值为正数时，模型会更倾向于生成出现频率较低的Token，即模型会更倾向于使用不常见的词汇。 最小值：-2 最大值：2 缺省值：0 （表示该参数未生效） 表7 ChatCompletionMessageParam 参数 是否必选 参数类型 描述 role 是 String 对话的角色，默认取值范围：system、user、assistant、tool、function。支持自定义。 如果需要模型以某个人设形象回答问题，可以将role参数设置为system。不使用人设时，可设置为user。 返回参数时，为固定值：assistant 在一次会话请求中，人设只需要设置一次。 content 是 String 对话的内容，可以是任意文本，单位token。 设置多轮对话时，message中content个数不能超过20。 最小长度：1 最大长度：不同模型支持的token长度。 缺省值：None

响应参数 状态码：200 表4 响应Body参数 参数 参数类型 描述 embedding List[List[Float]] embedding的结果。 ret String 错误码。 msg String 错误信息。 cost Float 模型推理耗时。 状态码： 400 表5 响应Body参数 参数 参数类型 描述 ret String 错误码。 msg String 错误信息。 embedding List[List[Float]] embedding的结果，当错误时，是为空。 cost Float 处理时间。

请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表 请求Header参数（API Key认证）。 表2 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表3 请求Body参数 参数 是否必选 参数类型 描述 query 是 String 参数解释： query信息；支持在线输入query的embedding。 约束限制： 字符串长度限制：1~1000 取值范围： 不涉及 默认取值： 不涉及 embedding_type 否 String 参数解释： embedding的两种模式：query2query 和 query2doc。 约束限制： 不涉及 取值范围： query2query 和 query2doc。 默认取值： query2doc

请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表2 请求Body参数 参数 是否必选 参数类型 描述 dataset_name 是 string 参数解释： 数据集名称。 约束限制： 名称长度范围[1,128]。 取值范围： 不涉及 默认取值： 不涉及 catalog 否 CatalogEnum 参数解释： 数据集形态。 约束限制： 不涉及 取值范围： ORIGINAL：执行数据导入产生的数据集类型 PRO CES S：执行数据加工产生的数据集类型 PUBLISH：执行数据发布产生的数据集类型 默认取值： 不涉及 delete_obs 否 boolean 参数解释： 删除obs数据。 约束限制： 不涉及 取值范围： true：删除obs数据 false：不删除obs数据 默认取值： 不涉及

响应参数 参数 参数类型 描述 dataset_name string 参数解释： 数据集名称。 约束限制： 不涉及 取值范围： 名称长度范围[1,128]。 默认取值： 不涉及 catalog CatalogEnum 参数解释： 数据集形态。 约束限制： 不涉及 取值范围： ORIGINAL：执行数据导入产生的数据集类型 PROCESS：执行数据加工产生的数据集类型 PUBLISH：执行数据发布产生的数据集类型 默认取值： 不涉及 result boolean 参数解释： 操作结果。 约束限制： 不涉及 取值范围： true：删除成功 false：删除失败 默认取值： 不涉及

请求示例 彻底删除数据集对应的OBS原始数据 POST https://{endpotint}/v1/{project_id}/workspaces/{workspace_id}/data-management/dataset/permanent-delete:?dataset_name=pub_345135233&catalog=PROCESS&delete_obs=true Requet Header: Content_Type: application/json X-Auth-Token: MIIVV... Request Params: dataset_name: pub_345135233 catalog: PROCESS delete_obs:true

预测大模型对资源池的依赖 模型名称 云上部署 边缘部署 ARM+D310P ARM+D310P Pangu-Predict-Cla-TS-2.1.0 支持 支持 Pangu-Predict-Cla-Table-2.0.0 支持 支持 Pangu-Predict-Reg-TS-2.1.0 支持 支持 Pangu-Predict-Reg-Table-2.0.0 支持 支持 Pangu-Predict-Anom-Table-2.0.0 支持 支持

预测大模型支持的平台操作 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古预测大模型支持的具体操作： 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 模型名称 - √ - - √ - Pangu-Predict-Cla-TS-2.1.0 - √ - - √ - Pangu-Predict-Cla-Table-2.0.0 - √ √ - √ - Pangu-Predict-Reg-TS-2.1.0 - √ - - √ - Pangu-Predict-Reg-Table-2.0.0 - √ √ - √ - Pangu-Predict-Anom-Table-2.0.0 - √ √ - √ -

预测大模型规格 盘古预测大模型是面向结构化数据，通过任务理解、模型推荐、模型融合技术，构建通用的预测能力。 ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型，以满足不同场景和需求。以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-Predict-Cla-TS-2.1.0 版本说明 盘古分类预测大模型分类任务微调工作流，支持时序数据的分类预测，预测目标数据需要是有限的状态类型，数据类型一般是离散枚举类。该版本基于时序预测基模型实现分类预测能力。时序分类预测有很多应用场景，例如：基于工业设备传感器一段时间采集的连续数据，实现设备正常或异常状态的预测。 训练特性 支持基于盘古预训练预测模型的微调。 推理特性 支持在线部署、支持边缘部署。 Pangu-Predict-Cla-Table-2.0.0 版本说明 盘古分类预测大模型分类任务微调工作流，支持表格（非时序）数据的分类预测，预测目标数据需要是有限的状态类型，数据类型一般是离散枚举类。该版本以融合推荐预测模型为底座，实现了分类预测模型的一站式开发工作流。该任务支持特征重要性排序及训练Loss曲线展示。 训练特性 支持微调、提供训练特征重要性。 推理特性 提供分类置信度、支持在线部署、支持边缘部署。 Pangu-Predict-Reg-TS-2.1.0 版本说明 盘古预测大模型回归任务微调工作流，支持时序任务的连续值预测，预测目标数据需要是连续数值，数据类型一般是数值类。该版本基于时序预测基模型实现对未来一组观测值的预测，最多支持256个未来时间点的预测。 训练特性 支持基于盘古预训练预测模型的微调、支持多目标预测。 推理特性 支持在线部署、支持边缘部署。 Pangu-Predict-Reg-Table-2.0.0 版本说明 盘古预测大模型回归任务微调工作流，支持表格（非时序）任务的连续值预测，预测目标数据需要是连续数值，数据类型一般是数值类。该版本以推荐融合预测模型为基础实现了回归预测能力，支持部分场景下的特征重要性及Loss曲线展示。 训练特性 支持微调、提供训练特征重要性。 推理特性 支持在线部署、支持边缘部署。 Pangu-Predict-Anom-Table-2.0.0 版本说明 盘古预测大模型异常检测任务微调工作流，支持表格（非时序）异常检测任务，预测目标是正常类和异常类，该版本基于结构化预测模型的分类能力实现对异常状态和正常状态的分析。 训练特性 支持微调。 推理特性 提供分类置信度、支持在线部署、支持边缘部署。

盘古NLP大模型对资源池的依赖 模型名称 云上部署 边缘部署 ARM+Snt9B3 ARM+Snt9B3 Pangu-NLP-N1-32K-3.1.34 支持 - Pangu-NLP-N1-32K-3.2.36 支持 - Pangu-NLP-N1-128K-3.1.34 支持 - Pangu-NLP-N1-128K-3.2.36 支持 - Pangu-NLP-N2-4K-3.2.35 支持 支持 Pangu-NLP-N2-8K-3.1.39 支持 - Pangu-NLP-N2-32K-3.1.35 支持 支持 Pangu-NLP-N2-128K-3.1.35 支持 - Pangu-NLP-N2-256K-3.1.35 支持 - Pangu-NLP-N2-Reasoner-32K-3.0.0.1 支持 - Pangu-NLP-N2-Reasoner-128K-3.0.1.1 支持 - Pangu-NLP-N4-4K-3.2.36 支持 - Pangu-NLP-N4-4K-2.5.32 支持 - Pangu-NLP-N4-4K-2.5.35 支持 - Pangu-NLP-N4-32K-2.5.32 支持 - Pangu-NLP-N4-32K-2.5.35 支持 - Pangu-NLP-N4-Reasoner-32K-3.0.1.1 支持 - Pangu-RAG-N1-32k 支持 -

盘古NLP大模型支持的平台操作 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作： 表2 盘古NLP大模型支持的能力 模型名称 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-NLP-N1-32K-3.1.34 - √ √ - √ √ Pangu-NLP-N1-32K-3.2.36 - √ √ √ √ √ Pangu-NLP-N1-128K-3.1.34 - - √ - √ √ Pangu-NLP-N1-128K-3.2.36 - - √ - √ √ Pangu-NLP-N2-4K-3.2.35 √ √ √ √ √ √ Pangu-NLP-N2-8K-3.1.39 √ √ √ √ √ √ Pangu-NLP-N2-32K-3.1.35 √ √ √ √ √ √ Pangu-NLP-N2-128K-3.1.35 - - √ - √ √ Pangu-NLP-N2-256K-3.1.35 - - √ - √ √ Pangu-NLP-N2-Reasoner-32K-3.0.0.1 - - - - √ √ Pangu-NLP-N2-Reasoner-128K-3.0.1.1 - - - - √ √ Pangu-NLP-N4-4K-3.2.36 √ √ √ √ √ √ Pangu-NLP-N4-4K-2.5.32 √ √ √ √ √ √ Pangu-NLP-N4-4K-2.5.35 √ √ √ √ √ √ Pangu-NLP-N4-32K-2.5.32 - - √ - √ √ Pangu-NLP-N4-32K-2.5.35 - - √ - √ √ Pangu-NLP-N4-Reasoner-32K-3.0.1.1 - - - - √ √ Pangu-RAG-N1-32K-4.3.2 - - - - √ -

盘古NLP大模型规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型，结合了大数据预训练和多源知识，借助持续学习不断吸收海量文本数据，持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外，盘古NLP大模型还具备模型调用等高级特性，可在智能客服、创意营销等多个典型场景中，提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pangu-NLP-N1-32K-3.1.34 32K 4K 2024年11月发布的版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训，1个推理单元即可部署，4K支持256并发，32K支持256并发。 Pangu-NLP-N1-32K-3.2.36 32K 4K 2025年1月发布的版本，支持32K序列长度训练，4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训，1个推理单元即可部署，4K支持256并发，32K支持256并发。 Pangu-NLP-N1-128K-3.1.34 128K 4K 2024年11月发布的版本，仅支持128K序列长度推理，4个推理单元2并发。 Pangu-NLP-N1-128K-3.2.36 128K 4K 2025年1月发布的版本，仅支持128K序列长度推理，4个推理单元8并发。 Pangu-NLP-N2-4K-3.2.35 4K 4K 2025年1月发布的版本，支持4K序列长度训练，4K序列长度推理。全量微调、RFT微调32个训练单元起训，LoRA微调8个训练单元起训，支持混合部署和分离部署，4个推理单元即可部署，支持192并发。此模型版本差异化支持RFT训练、分离部署、边缘部署特性。 Pangu-NLP-N2-8K-3.1.39 8K 4K 2025年3月发布的版本，支持8K序列长度训练，8K序列长度推理。预训练、全量微调、DPO训练支持32个训练单元起训，LoRA微调支持8个训练单元起训，4个推理单元即可部署，支持192并发。 Pangu-NLP-N2-32K-3.1.35 32K 4K 2025年1月发布的版本，支持32K序列长度训练，32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，支持混合部署和分离部署，4个推理单元即可部署，支持128并发。此模型版本差异化支持分离部署、边缘部署特性。 Pangu-NLP-N2-128K-3.1.35 128K 4K 2024年12月发布的版本，仅支持128K序列长度推理部署，8个推理单元64并发。 Pangu-NLP-N2-256K-3.1.35 256K 4K 2024年12月发布的版本，仅支持256K序列长度推理部署，8个推理单元64并发。 Pangu-NLP-N2-Reasoner-32K-3.0.0.1 32K 4K 2025年3月发布的版本，仅支持32K序列长度推理部署，4个推理单元128并发。 Pangu-NLP-N2-Reasoner-128K-3.0.1.1 128K 4K 2025年5月发布的版本，仅支持128K序列长度推理部署，4个推理单元384并发。 Pangu-NLP-N4-4K-3.2.36 4K 4K 2025年3月发布的版本，支持4K序列长度训练，4K序列长度推理。预训练、全量微调、DPO训练64个训练单元起训，LoRA微调8个训练单元起训，8个推理单元即可部署，支持128并发。 Pangu-NLP-N4-4K-2.5.32 4K 4K 2024年11月发布的版本，支持4K序列长度训练，4K序列长度推理。全量微调64个训练单元起训，LoRA微调32个训练单元起训，8个推理单元即可部署，支持64并发。此模型版本差异化支持预训练、INT8/INT4量化特性。 Pangu-NLP-N4-4K-2.5.35 4K 4K 2025年1月发布的版本，支持4K序列长度训练，4K序列长度推理。全量微调64个训练单元起训，LoRA微调32个训练单元起训，8个推理单元即可部署，支持128并发。此模型版本差异化支持预训练、INT8/INT4量化特性。 Pangu-NLP-N4-32K-2.5.32 32K 4K 2024年11月发布的版本，仅支持32K序列长度推理部署，8个推理单元64并发。 Pangu-NLP-N4-32K-2.5.35 32K 4K 2025年1月发布的版本，仅支持32K序列长度推理部署，8个推理单元128并发。 Pangu-NLP-N4-Reasoner-32K-3.0.1.1 32K 4K 2025年5月发布的版本，仅支持32K序列长度推理部署，4个推理单元104并发。 Pangu-RAG-N1-32K-4.3.2 32K - 2025年4月份发布的版本，支持32K序列长度推理，1个推理单元可部署，最高支持1QPS。该模型是基于盘古NLP大模型微调得到的RAG场景模型，提供对话问答能力。

降水预测 科学计算大模型包括全球中期天气要素模型和降水模型，可以对未来一段时间的天气和降水进行预测，全球中期天气要素模型和降水模型能够在全球范围内进行预测，不仅仅局限于某个地区。它的分辨率相当于赤道附近每个点约25公里x25公里的空间。通过降水模型预测未来的降雨情况，农民和农业管理者可以更有效地规划灌溉时间和频率，也能为可能发生的干旱提供预警，使农业部门能够及时采取措施，如推广节水技术或调整种植计划。

城市治理 传统算法在治理交通拥堵下是基于人为预先设定的规则逻辑进行判断，灵活性缺失，例如交通拥堵是基于视频画面的车辆检测+跟踪，综合判断是否有大量车停留等待，从而判断交通拥堵。但如果要进一步分析交通拥堵的原因，传统视觉算法就犯难了，盘古CV大模型支持对同一目标多个标签描述，通过检测模型对目标物体进行检测，分割模型对目标进行分割，能有效识别城市道路积水检测、违停车辆检测、占道经营检测等场景，对城市治理起到了关键作用。

客服助手 通过NLP大模型对传统的客服系统进行智能化升级，提升智能客服的效果。企业原智能客服系统仅支持回复基础的FAQ，无语义泛化能力，意图理解能力弱，转人工频率极高。面对活动等时效性场景，智能客服无回答能力。提高服务效率：大模型智能客服可以7x24小时不间断服务，相较于人工客服，可以处理更多的客户咨询，且响应速度快；降低运营成本：企业可以通过智能客服处理大部分的常规问题，将人工客服释放出来处理更复杂、更个性化的客户需求；个性化服务：基于大模型的智能客服能够学习和适应用户的行为模式和偏好，提供更加个性化的服务。

智慧配煤 传统人工配煤方式1.成本保障难：传统方式依赖专家经验，人工配煤在平衡质量和成本价格上难以做到最优，配比取値保守，増加炼烧原料成本；2.监管回溯难：采用Excel表格计算，需手工输入原料煤参数，难以支撑数据分析和溯源，不同煤种煤质差异大。盘古预测大模型通过评估和预测焦炭生产过程中焦炭成分及其质量来准确预测焦炭的成分和质量，通过合理选择和搭配不同种类、性质和质量的煤炭，降低生产成本，对于钢铁企业的生产效率、成本控制和环境保护具有重要意义。

模型开发 ModelArts Studio大模型开发平台提供了模型开发功能，涵盖了从模型训练到模型调用的各个环节。平台支持全流程的模型生命周期管理，确保从数据准备到模型部署的每一个环节都能高效、精确地执行，为实际应用提供强大的智能支持。 模型训练：在模型开发的第一步，ModelArts Studio大模型开发平台为用户提供了丰富的训练工具与灵活的配置选项。用户可以根据实际需求选择合适的模型架构，并结合不同的训练数据进行精细化训练。平台支持分布式训练，能够处理大规模数据集，从而帮助用户快速提升模型性能。该模块提供预训练、全量微调、LoRA微调、DPO等。 模型评测：为了确保模型的实际应用效果，平台提供了多维度的模型评测功能。通过自动化的评测机制，用户可以在训练过程中持续监控模型的精度、召回率等关键指标，及时发现潜在问题并优化调整。评测功能能够帮助用户在多种应用场景下验证模型的准确性与可靠性。支持基于规则的自动评测方式，NLP模型展示准确率，F1分数，BLEU、ROUGE等自动评测指标，支持人工评测自定义配置评测指标；并且支持基于人工评价操作界面，对模型表现从不同评价指标进行打分。 模型压缩：在模型部署前，进行模型压缩是提升推理性能的关键步骤。通过压缩模型，能够有效减少推理过程中的显存占用，节省推理资源，同时提高计算速度。当前，平台支持对NLP大模型进行压缩，目前支持INT8、INT4量化压缩。 模型部署：平台提供了一键式模型部署功能，用户可以轻松将训练好的模型部署到云端或本地环境中。平台支持多种部署模式，能够满足不同场景的需求。通过灵活的API接口，模型可以无缝集成到各类应用中。 模型调用：在模型部署后，用户可以通过模型调用功能快速访问模型的服务。平台提供了高效的API接口，确保用户能够方便地将模型嵌入到自己的应用中，实现智能对话、文本生成等功能。 父主题： 产品功能