华为云用户手册

请求参数 使用Token认证方式的请求Header参数见表2。 表2 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表3。 表3 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表4 请求Body参数 参数 是否必选 参数类型 描述 data 是 Array 参数解释： 待进行预测的数据，data为一个数组，数组中包含多个对象，每个对象是一组完整的特征数据 约束限制： data为一个数组，数组中包含多个对象，每个对象是一组完整的特征数据。 待预测特征名需要与训练数据中的特征名保持一致。例如，训练数据中特征列按照feature_1、feature_2……进行命名，在调用推理接口时，特征名也需要保持相同。同时推理接口中特征数量需要与训练数据中的特征数保持一致。一组特征数据填写完成后再填写剩余待预测数据，格式详见请求示例。 取值范围： 输入数据中的一组数据。 默认取值： 预测大模型在训练完成后，可以在训练日志页面，“模型训练”日志节点中获取推理api所用的示例数据。填写请求Body时可以参考该示例填写。

URI POST /v1/{project_id}/infer-api/proxy/service/{deployment_id}/perm-feat-importance 获取URI方式请参见请求URI。 表1 推理接口路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。

请求示例 { "data": [ { "feature_1": xx, "feature_2": xx, ... "feature_n": xx, "target": 0, }, ... { "feature_1": xx, "feature_2": xx, ... "feature_n": xx, "target": 1 } ], "fi_args":{ "num_shuffle_sets": 1, "sample_num": 1000 } } 此处data列表的长度至少为1000，建议通过以下代码根据csv文件生成请求体（DATA_NUM为从csv文件中采样数据的数量）： import random import json import pandas as pd ENCODING_TYPE = "utf-8" DATA_NUM = 1200 data_path = "path/to/xxx.csv" df = pd.read_csv(data_path, encoding=ENCODING_TYPE) data_list = df.to_dict("records") data_list = random.sample(data_list, DATA_NUM) request_data = { "data": data_list, "fi_args": { "num_shuffle_sets": 1, "sample_num": 1000, } } request_str = json.dumps(request_data) print(request_str)

请求示例 { "context_len": 256, "prediction_len": 96, "data": [ { "context": { "feature_0": [ 864.1618041992188, 493.91827392578125, 252.7724151611328，...], "feature_1": [ 864.1618041992188, 493.91827392578125, 252.7724151611328，...] } }, { "context": { "feature_0": [ 864.1618041992188, 493.91827392578125, 252.7724151611328，...], "feature_1": [ 864.1618041992188, 493.91827392578125, 252.7724151611328，...] } } ] }

请求参数 使用Token认证方式的请求Header参数见表2。 表2 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表3。 表3 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表4 请求Body参数 参数 是否必选 参数类型 描述 data 是 Array 参数解释： 时序数据请求的批处理队列。 约束限制： 盘古时序预测回归任务的输入数据内容，用字典承载。输入数据字典中，键对应特征列名，值为序列数据具体内容。 取值范围： 输入数据中的一组数据。 默认取值： 预测大模型在训练完成后，可以在训练日志页面，“模型训练”日志节点中获取推理api所用的示例数据。填写请求Body时可以参考该示例填写。 context_len 否 int 参数解释： 时序任务的数据窗口大小，该参数主要服务于支持多尺度窗口的模型的推理。 约束限制： 填写时需要保证输入序列长度大于等于该值。 取值范围： min:32 max:512 -1为当前服务模型的默认大小。 默认取值： 128 prediction_len 否 int 参数解释： 时序预测输出的窗口长度。数值越大输出预测的时间范围越大，但相应的显存占用会增加以及模型预测精度可能会下降。 约束限制： 注若基于已发布模型的进行增量微调，输出窗口需要与其保持一致。 取值范围： 建议取值范围48至96，且尽量选择预测目标周期的整数倍 默认取值： 96

响应示例 { "data": [ { "prediction":{ "feature_0": [ 864.1618041992188, 493.91827392578125, 252.7724151611328，...] "feature_1": [ 864.1618041992188, 493.91827392578125, 252.7724151611328，...] } } ], "time_cost": { "infer_cost_time": "82.609 ms", "postprocess_cost_time": "0.29 ms", "preprocess_cost_time": "0.1332 ms", "service_cost_total_time": "84.965 ms" } }

请求示例 流式（Header中的stream参数为true） POST https://{endpoint}/v1/{project_id}/agent-run/agents/{agent_id}/conversations/{conversation_id} Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... stream: true Request Body: { "query": "查询A12会议室在9:00到10:00的状态" }

响应示例 data:{"event":"start","createdTime":1735558575017} data:{"event":"message","content":"好的","createdTime":1735558576300} data:{"event":"message","content":"，","createdTime":1735558576301} data:{"event":"message","content":"我将","createdTime":1735558576301} data:{"event":"message","content":"调用","createdTime":1735558576302} data:{"event":"message","content":"query","createdTime":1735558576302} data:{"event":"message","content":"_","createdTime":1735558576302} data:{"event":"message","content":"meeting","createdTime":1735558576302} data:{"event":"message","content":"_","createdTime":1735558576302} data:{"event":"message","content":"room","createdTime":1735558576303} data:{"event":"message","content":"_status","createdTime":1735558576303} data:{"event":"message","content":"工具","createdTime":1735558576303} data:{"event":"message","content":"来","createdTime":1735558576304} data:{"event":"message","content":"查询","createdTime":1735558576304} data:{"event":"message","content":"A","createdTime":1735558576304} data:{"event":"message","content":"12","createdTime":1735558576304} data:{"event":"message","content":"会议室","createdTime":1735558576305} data:{"event":"message","content":"在","createdTime":1735558576305} data:{"event":"message","content":"9","createdTime":1735558576305} data:{"event":"message","content":":00","createdTime":1735558576305} data:{"event":"message","content":"到","createdTime":1735558576306} data:{"event":"message","content":"10","createdTime":1735558576306} data:{"event":"message","content":":00","createdTime":1735558576306} data:{"event":"message","content":"的状态","createdTime":1735558576306} data:{"event":"message","content":"。","createdTime":1735558576306} data:{"event":"message","content":"请","createdTime":1735558576307} data:{"event":"message","content":"稍","createdTime":1735558576307} data:{"event":"message","content":"等","createdTime":1735558576307} data:{"event":"message","content":"。","createdTime":1735558576307} data:{"event":"message","content":" ","createdTime":1735558576307} data:{"event":"message","content":" query","createdTime":1735558576307} data:{"event":"message","content":"_","createdTime":1735558576308} data:{"event":"message","content":"meeting","createdTime":1735558576308} data:{"event":"message","content":"_","createdTime":1735558576308} data:{"event":"message","content":"room","createdTime":1735558576308} data:{"event":"message","content":"_status","createdTime":1735558576308} data:{"event":"message","content":"|","createdTime":1735558576308} data:{"event":"message","content":"{\"","createdTime":1735558576309} data:{"event":"message","content":"meeting","createdTime":1735558576309} data:{"event":"message","content":"Room","createdTime":1735558576309} data:{"event":"message","content":"\":","createdTime":1735558576309} data:{"event":"message","content":"{\"","createdTime":1735558576309} data:{"event":"message","content":"number","createdTime":1735558576310} data:{"event":"message","content":"\":","createdTime":1735558576310} data:{"event":"message","content":" 12","createdTime":1735558576310} data:{"event":"message","content":"}","createdTime":1735558576310} data:{"event":"message","content":",\"","createdTime":1735558576310} data:{"event":"message","content":"start","createdTime":1735558576310} data:{"event":"message","content":"\":\"","createdTime":1735558576311} data:{"event":"message","content":"9","createdTime":1735558576311} data:{"event":"message","content":":00","createdTime":1735558576311} data:{"event":"message","content":"\",\"","createdTime":1735558576311} data:{"event":"message","content":"end","createdTime":1735558576311} data:{"event":"message","content":"\":\"","createdTime":1735558576311} data:{"event":"message","content":"10","createdTime":1735558576311} data:{"event":"message","content":":00","createdTime":1735558576312} data:{"event":"message","content":"\"}","createdTime":1735558576312} data:{"event":"message","content":" ","createdTime":1735558576312} data:{"event":"plugin_start","type":"plugin","latency":{"overall":1.3},"plugin":{"name":"query_meeting_room_status","arguments":"{\"meetingRoom\": {\"number\": 12}, \"start\": \"9:00\", \"end\": \"10:00\"}"},"createdTime":1735558576316} data:{"event":"plugin_end","content":{"result":"空闲"},"role":"function","latency":{"overall":1.51,"plugin":0.0},"createdTime":1735558576521} data:{"event":"start","createdTime":1735558576522} data:{"event":"message","content":"A","createdTime":1735558576976} data:{"event":"message","content":"12","createdTime":1735558576977} data:{"event":"message","content":"会议室","createdTime":1735558576977} data:{"event":"message","content":"在","createdTime":1735558576977} data:{"event":"message","content":"9","createdTime":1735558576978} data:{"event":"message","content":":00","createdTime":1735558576978} data:{"event":"message","content":"到","createdTime":1735558576978} data:{"event":"message","content":"10","createdTime":1735558576978} data:{"event":"message","content":":00","createdTime":1735558576978} data:{"event":"message","content":"的时间","createdTime":1735558576978} data:{"event":"message","content":"段","createdTime":1735558576979} data:{"event":"message","content":"内","createdTime":1735558576979} data:{"event":"message","content":"是","createdTime":1735558576979} data:{"event":"message","content":"空闲","createdTime":1735558576979} data:{"event":"message","content":"的","createdTime":1735558576979} data:{"event":"message","content":"。","createdTime":1735558576980} data:{"event":"statistic_data","latency":{"overall":1.97},"createdTime":1735558576986} data:{"event":"summary_response","content":"A12会议室在9:00到10:00的时间段内是空闲的。","role":"assistant","createdTime":1735558576987} data:{"event":"done","createdTime":1735558577011}

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 stream 是 Boolean 是否开启流式调用，默认开启。 true：开启 false：不开启 说明： 当前Agent只支持流式调用，需设置为true。 表3 请求Body参数 参数 是否必选 参数类型 描述 query 是 String 用户问题，作为运行Agent的输入。

响应参数 流式（Header中的stream参数为true） 状态码： 200 表4 流式输出的数据单元 参数 参数类型 描述 data String stream=true时，执行Agent的消息以流式形式返回。 生成的内容以增量的方式逐步发送回来，每个data字段均包含一部分生成的内容，直到所有data返回，响应结束。 表5 流式输出的数据单元 参数 参数类型 描述 event String 数据单元类型，有以下几种类型： start，开始节点，表示开始调用模型进行会话。 message，消息节点，表示模型返回的消息。 plugin_start，插件调用请求节点，表示调用插件的请求信息。 plugin_end，插件调用响应节点，表示调用插件的响应信息。 statistic_data，执行数据节点，包含本次调用的耗时信息。 summary_response，消息总结节点，包含本次调用的全量响应信息。 done，流式调用结束节点，表示流式响应结束。 content Object 消息块内容，不同event的消息块内容不同。 createdTime long 消息块返回的时间戳，如1733817348963。 latency Object 耗时，包括以下三个元素： plugin，插件调用耗时 model，模型调用耗时 overall，总耗时 plugin Object 插件请求信息，包括以下两个元素： name，插件名 arguments，插件入参名

请求示例 { "name" : "demo-task", "input" : { "type" : "obs", "data" : [ { "bucket" : "bucket", "path" : "path/to/directory/" } ] }, "output" : { "obs" : { "bucket" : "bucket", "path" : "path/to/directory/" } }, "config" : { "start_time_begin" : 2017010100, "start_time_end" : 2017010200, "start_time_interval_hours" : 1, "forecast_lead_hours" : 1, "num_ensembles" : 2, "ensemble_noise_method" : "perlin", "ensemble_noise_perlin_scale" : 0.1, "ensemble_noise_perlin_octave" : 1, "ensemble_noise_perlin_x" : 0.2, "ensemble_noise_perlin_y" : 0.2, "draw_figures" : "true" } }

请求参数 使用Token认证方式的请求Header参数见表2。 表2 请求Header参数（Token认证） 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用于获取操作API的权限。获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 使用API Key认证方式的请求Header参数见表3。 表3 请求Header参数（API Key认证） 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String API Key值。 用于获取操作API的权限。API Key认证响应消息头中X-Apig-AppCode的值即为API Key。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表4 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 推理作业的名称。 input 是 TaskInputDto object 输入数据的信息。 output 是 TaskOutputDto object 输出数据的信息。 config 是 TaskConfigDto object 科学计算大模型配置信息。 表5 TaskInputDto 参数 是否必选 参数类型 描述 type 是 String 存储类型，取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表6 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String 初始场数据的存放路径。 表7 TaskOutputDto 参数 是否必选 参数类型 描述 obs 是 ObsStorageDto object 输出数据的OBS信息。 表8 TaskConfigDto 参数 是否必选 参数类型 描述 start_time_begin 是 String 起报时间区间起点（YYYYMMDDHH时间戳）。 start_time_end 是 String 起报时间区间终点（YYYYMMDDHH时间戳）。 start_time_interval_hours 否 Long 起报时间间隔小时数，默认6。取值范围：[1, 24]。 forecast_lead_hours 否 Long 预报未来小时数，默认168，取值范围：[1, 720]。 draw_figures 否 String 是否输出结果图片，取值true/false，默认true。 num_ensembles 否 Long 集合数量。在气象预报中，集合预报是指对初始场加入一定程序的扰动，使其生成一组由不同初始场预报的天气预报结果，从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性，从而提高预报的准确性和可靠性。 取值范围：[2, 10]。 ensemble_noise_method 否 String 集合预报的加噪方式。可选：{"perlin"}。 peilin噪音通过对输入数据（比如空间坐标）进行随机扰动，让模拟出的天气接近真实世界中的变化。 ensemble_noise_perlin_scale 否 Double 集合预报的Perlin加噪scale。取值范围：(0, 0.5)。 ensemble_noise_perlin_octave 否 Long 用于选择集合预报的Perlin加噪octave。Perlin噪音的octave指的是噪音的频率，在生成Perlin噪音时，可以将多个不同频率的噪音叠加在一起，以增加噪音的复杂度和细节。每个频率的噪音称为一个octave，而叠加的octave数越多，噪音的复杂度也就越高。 取值范围：[1, 10)。 ensemble_noise_perlin_x 否 Double 用于选择集合预报的Perlin加噪x经度方向的尺度。 取值范围：[0, 1)。 ensemble_noise_perlin_y 否 Double 用于选择集合预报的Perlin加噪y纬度方向的尺度。 取值范围：[0, 1)。 表9 全球中期天气要素预测模型、降水模型信息表 模型 预报层次 预报高空变量 预报表面变量 降水 时间分辨率 水平分辨率 区域范围 全球中期天气要素预测模型 13层（1000hpa, 925hpa, 850hpa, 700hpa, 600hpa, 500hpa, 400hpa, 300hpa, 250hpa, 200hpa, 150hpa, 100hpa, 50hpa） T：温度 Q：比湿 Z：重力位势 U：U风 V：V风 MLSP：海平面气压 U10：10米U风，经度方向 V10：10米V风，纬度方向 T2M：2米温度 - 1、3、6、24小时 0.25°*0.25° 全球 降水基模型 13层（1000hpa, 925hpa, 850hpa, 700hpa, 600hpa, 500hpa, 400hpa, 300hpa, 250hpa, 200hpa, 150hpa, 100hpa, 50hpa） T：温度 Q：比湿 Z：重力位势 U：U风 V：V风 MLSP：海平面气压 U10：10米U风，经度方向 V10：10米V风，纬度方向 T2M：2米温度 PRECIP6：过去6h累计降水 PRECIP24：过去24h累计降水 1、3、6、24小时 0.25°*0.25° 全球

URI 获取URI方式请参见请求URI。 NLP推理服务提供两种推理接口调用： 盘古推理接口（V1推理接口） 业界通用的OpenAI格式接口（V2推理接口） 两种接口定义如表1所示。 表1 NLP服务推理接口 API分类 API访问路径（URI） V1推理接口 POST /v1/{project_id}/deployments/{deployment_id}/chat/completions V2推理接口 POST /api/v2/chat/completions V1推理接口URI需要输入额外参数，参数说明如表2 V1推理接口路径参数所示： 表2 V1推理接口路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。

请求示例 单轮问答 V1推理接口： POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... V2推理接口： POST https://{endpoint}/api/v2/chat/completions Request Header: Content-Type: application/json Authorization: Bearer 201ca68f-45f9-4e19-8fa4-831e... Request Body: { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 单轮流式问答（stream参数值为true） { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "五岳分别是哪些山" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 带有人设的单轮问答（role参数值为system） { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "写一首诗" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 多轮问答 # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "role":"assistant", "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "role":"user", "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "role":"assistant", "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "role":"user", "content": "提到的湖南景点，详细说明下" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600 } 多轮流式问答（stream参数值为true） # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "role":"assistant", "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "role":"user", "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "role":"assistant", "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "role":"user", "content": "张家界具体在哪里" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" }

响应示例 状态码： 200 OK 非流式问答响应 { "id": "chat-3f7d8e038f244ae5b7cb0cecf352e154", "object": "chat.completion", "created": 1745725506, "model": "pangu-nlp-n1-32k_kpyq10", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好！有什么我可以帮助你的吗？", "tool_calls": [] }, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": { "prompt_tokens": 64, "total_tokens": 73, "completion_tokens": 9 }, "prompt_logprobs": null } 流式问答响应 V1推理接口返回体： data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"logprobs":null,"finish_reason":null,"message":{"role":"assistant"}}],"usage":{"prompt_tokens":64,"total_tokens":64,"completion_tokens":0}} data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"logprobs":null,"finish_reason":null,"message":{"content":"你好"}}],"usage":{"prompt_tokens":64,"total_tokens":65,"completion_tokens":1}} data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"logprobs":null,"finish_reason":"stop","stop_reason":null,"message":{"content":"！有什么我可以帮你的吗？"}}],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} event:{"usage":{"completionTokens":9,"promptTokens":64,"totalTokens":73},"tokens":64,"token_number":9} data:[DONE] V2推理接口返回体： data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"delta":{"role":"assistant"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":64,"total_tokens":64,"completion_tokens":0}} data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"delta":{"content":"你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":64,"total_tokens":65,"completion_tokens":1}} data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"delta":{"content":"！有什么我可以帮助你的吗？"},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} data:[DONE] 带有思维链的流式问答响应 V1推理接口返回体： data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":6,"completion_tokens":0}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":7,"completion_tokens":1}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"！"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":8,"completion_tokens":2}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"很高兴见到"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":10,"completion_tokens":4}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"你"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":11,"completion_tokens":5}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"，有什么"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":13,"completion_tokens":7}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"我可以帮忙"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":15,"completion_tokens":9}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"的吗"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":16,"completion_tokens":10}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"？"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":17,"completion_tokens":11}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"无论是"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":18,"completion_tokens":12}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"聊天、"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":20,"completion_tokens":14}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"解答问题"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":22,"completion_tokens":16}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"还是提供"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":24,"completion_tokens":18}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"建议"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":25,"completion_tokens":19}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"，我"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":27,"completion_tokens":21}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"都在这里"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":29,"completion_tokens":23}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"哦"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":30,"completion_tokens":24}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":"！"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":31,"completion_tokens":25}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"reasoning_content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":33,"completion_tokens":27}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":null,"reasoning_content":"\n"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":35,"completion_tokens":29}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"\n\n你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":37,"completion_tokens":31}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"！很高兴"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":39,"completion_tokens":33}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"见到你"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":41,"completion_tokens":35}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"，有什么"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":43,"completion_tokens":37}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"我可以帮忙"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":45,"completion_tokens":39}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"的吗？"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":47,"completion_tokens":41}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"无论是聊天"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":49,"completion_tokens":43}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"、解答"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":51,"completion_tokens":45}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"问题还是"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":53,"completion_tokens":47}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"提供建议"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":55,"completion_tokens":49}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"，我"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":57,"completion_tokens":51}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"都在这里"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":59,"completion_tokens":53}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":"哦！"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":61,"completion_tokens":55}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":63,"completion_tokens":57}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"content":""},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":64,"completion_tokens":58}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[],"usage":{"prompt_tokens":6,"total_tokens":64,"completion_tokens":58}} data:[DONE] V2推理接口返回体： data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":6,"completion_tokens":0}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":7,"completion_tokens":1}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"！"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":8,"completion_tokens":2}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"很高兴见到"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":10,"completion_tokens":4}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"你"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":11,"completion_tokens":5}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"，有什么"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":13,"completion_tokens":7}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"我可以帮忙"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":15,"completion_tokens":9}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"的吗"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":16,"completion_tokens":10}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"？"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":17,"completion_tokens":11}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"无论是"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":18,"completion_tokens":12}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"聊天、"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":20,"completion_tokens":14}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"解答问题"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":22,"completion_tokens":16}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"还是提供"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":24,"completion_tokens":18}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"建议"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":25,"completion_tokens":19}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"，我"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":27,"completion_tokens":21}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"都在这里"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":29,"completion_tokens":23}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"哦"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":30,"completion_tokens":24}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":"！"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":31,"completion_tokens":25}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"reasoning_content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":33,"completion_tokens":27}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":null,"reasoning_content":"\n"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":35,"completion_tokens":29}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"\n\n你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":37,"completion_tokens":31}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"！很高兴"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":39,"completion_tokens":33}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"见到你"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":41,"completion_tokens":35}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"，有什么"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":43,"completion_tokens":37}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"我可以帮忙"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":45,"completion_tokens":39}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"的吗？"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":47,"completion_tokens":41}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"无论是聊天"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":49,"completion_tokens":43}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"、解答"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":51,"completion_tokens":45}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"问题还是"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":53,"completion_tokens":47}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"提供建议"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":55,"completion_tokens":49}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"，我"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":57,"completion_tokens":51}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"都在这里"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":59,"completion_tokens":53}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":"哦！"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":61,"completion_tokens":55}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":""},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":63,"completion_tokens":57}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[{"index":0,"delta":{"content":""},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":64,"completion_tokens":58}} data:{"id":"chat-9eb99956c9f84aeaa7920f35d014c3f3","object":"chat.completion.chunk","created":1745726389,"model":"DeepSeek-R1","choices":[],"usage":{"prompt_tokens":6,"total_tokens":64,"completion_tokens":58}} data:[DONE]

响应消息体 响应消息体通常以结构化格式返回，与响应消息头中Content-Type对应，传递除响应消息头之外的内容。 接口调用成功后将返回如下响应体。 { "id": "180f5745-4ee4-42a9-9869-23f829654bb7", "created": 1724915285, "choices": [ { "index": 0, "text": "故事标题：《穿越宋朝的奇妙之旅》在一个阴雨绵绵的夜晚，一个名叫李晓的年轻人正在阅读一本关于宋朝的历史书籍。突然，他感到一阵眩晕，当他再次睁开眼睛时，他发现自己身处一个完全陌生的地方。李晓发现自己穿越到了宋朝。他身处一座繁华的城市，人们穿着古代的服饰，用着他听不懂的语言交谈。他意识到自己真的穿越了。李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言，适应新的生活方式。他开始学习宋朝的礼仪，尝试理解这个时代的文化。在宋朝，李晓遇到了许多有趣的人。他遇到了一位名叫赵敏拿来的小女孩，她聪明伶俐，让李晓对她产生了深深的喜爱。他还遇到了一位名叫王安石的大儒，他的智慧和博学让李晓深感敬佩。在宋朝的生活中，李晓也遇到了许多困难。他必须适应新的食物，新的气候，甚至新的疾病。但是，他从未放弃，他始终坚信，只要他坚持下去，他就能适应这个新的世界。在宋朝的生活中，李晓也找到了新的目标。他开始学习宋朝的书法，尝试理解这个时代的艺术。他还开始学习宋朝的医学，尝试理解这个时代的科学。在宋朝的生活中，李晓也找到了新的爱情。他与赵敏拿来建立了深厚的感情，他们的conseillé情深深地打动了李晓。最后，李晓决定留在宋朝。他发现，他已经深深地爱上了这个时代，爱上了这里的人，爱上了这里的食物，爱上了这里的一切。这就是李晓在宋朝的hesion之旅，一个充满挑战和机遇的旅程。虽然他来自未来，但他已经成为了宋朝的一部分，成为了这个时代的一部分。", "ppl": 1.77809815678146e-36 } ], "usage": { "completion_tokens": 365, "prompt_tokens": 9, "total_tokens": 374 } } 当接口调用出错时，会返回错误码及错误信息说明。 token有效期为24小时，下面的报错表示token过期。 { "error_msg": "Incorrect IAM authentication information: token expires, expires_at:2023-06-29T02:16:41.581000Z", "error_code": "APIG.0301", "request_id": "469967f55e6b225xxx" } 其中，error_code表示错误码，error_msg表示错误描述信息。

请求URI 请求URI由如下部分组成： {URI-scheme} :// {Endpoint} / {resource-path} ? {query-string} 表1 请求URI 参数 说明 URI-scheme 传输请求的协议，当前所有API均采用HTTPS协议。 Endpoint 承载REST服务端点的服务器 域名 或IP。 resource-path 资源路径，即API访问路径。从具体API的URI模块获取。 query-string 查询参数，可选，查询参数前面需要带一个“？”，形式为“参数名=参数取值”。 获取请求URI的步骤详见请求URI，示例如下： https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions

请求消息体 请求消息体通常以结构化格式发出，与请求消息头中Content-Type对应，传递除请求消息头之外的内容。若请求消息体中参数支持中文，则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同，也并不是每个接口都需要有请求消息体（或者说消息体为空），GET、DELETE操作类型的接口就不需要消息体，消息体具体内容需要根据具体接口而定。 将消息体加入后的请求如下所示，详细参数解释可参考文档API章节。 POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINOD... { "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 综上，您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于接口，您可以从响应消息部分看到返回参数及参数说明。

请求方法 HTTP请求方法，表示服务正在请求操作类型，包括： GET：请求服务器返回指定资源。 PUT：请求服务器更新指定资源。 POST：请求服务器新增资源或执行特殊操作。 DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时候，PATCH可能会去创建一个新的资源。 在接口的URI部分，请求方法为“POST”，例如： POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions

请求消息头 附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如，定义消息体类型的请求头“Content-Type”，请求鉴权信息等。 以下公共消息头需要添加到请求中。 Content-Type：消息体的类型（格式），必选，默认取值为“application/json”。 X-Auth-Token：用户Token，可选，当使用Token方式认证时，必须填充该字段。用户Token请参考认证鉴权中的“Token认证”。 公有云API同时支持使用AK/SK认证，AK/SK认证是使用SDK对请求进行签名，签名过程会自动往请求中添加Authorization（签名认证信息）和X-Sdk-Date（请求发送的时间）请求头。AK/SK认证的详细说明请参见：AK/SK。 添加消息头后的请求如下所示： POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINOD...

基本概念 账号 用户注册华为云时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看账号ID和用户ID。通常在调用API的鉴权过程中，您需要用到账号、用户和密码等信息。 区域（Region） 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。 可用区（AZ，Availability Zone） 一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授权，用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中购买资源，然后以子项目为单位进行授权，使得用户仅能访问特定子项目中资源，使得资源的权限控制更加精确。 图1 项目隔离模型 父主题： 使用前必读

使用“体验中心”功能 “体验中心”功能支持用户直接调用已部署的预置服务，使用步骤如下： 登录ModelArts Studio大模型开发平台，进入所需空间。 单击左侧“体验中心”，进入“文本对话”页签，选择服务，参数设置为默认参数，在输入框输入问题，模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例，核采样控制生成文本的多样性和质量： 当“核采样”参数设置为1时，保持其他参数不变，单击“重新生成”，再单击“重新生成”，观察模型前后两次回复内容的多样性。 图2 “核采样”参数为1的生成结果1 图3 “核采样”参数为1的生成结果2 将“核采样”参数调小至0.1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以观察到模型前后两次回复内容的多样性降低。 图4 “核采样”参数为0.1的生成结果1 图5 “核采样”参数为0.1的生成结果2

步骤5：调试应用 创建应用后，平台支持对应用执行过程的进行预览与调试。 调试应用的步骤如下： 在页面右上角单击，参考图5配置大模型参数。 图5 大模型配置 在“预览调试”的左下角，选择开启“代码解释器”。 在“预览调试”的下方文本框中输入对话，例如“请编写输出10以内的素数的Python代码”，应用将根据对话生成相应的回答。 图6 预览调试结果 单击右上角“调试”，可查看应用的运行结果与调用详情。 图7 调用详情示例

步骤2：配置提示词 创建应用后，需要撰写提示词（Prompt），为应用设定人设、能力、核心技能、执行步骤。 应用会根据盘古NLP大模型对提示词的理解，来响应用户问题。因此，一个好的提示词可以让模型更好地理解并执行任务，应用效果与提示词息息相关。 配置提示词步骤如下： 在“提示词”模块，可依据模板填写Prompt，单击“”，输入框中将自动填入角色指令模板。 示例如图2，您可以依据模板进行填写。 图2 配置Prompt 填写后可通过大模型进行优化，单击“智能优化”，在 “Prompt优化”窗口中单击“确定”。

数据保护技术 盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明：https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题： 安全

大模型开发基本流程 大模型通常指的是具有海量参数和复杂结构的深度学习模型，广泛应用于自然语言处理、图像处理等领域。开发一个大模型的流程可以分为以下几个主要步骤： 数据集准备：大模型的性能往往依赖于大量的训练数据。因此，数据集准备是模型开发的第一步。首先，需要根据业务需求收集相关的原始数据，确保数据的覆盖面和多样性。例如，若是自然语言处理任务，可能需要大量的文本数据；如果是计算机视觉任务，则需要图像或视频数据。 数据预处理：数据预处理是数据准备过程中的重要环节，旨在提高数据质量和适应模型的需求。常见的数据预处理操作包括： 去除重复数据：确保数据集中每条数据的唯一性。 填补缺失值：填充数据中的缺失部分，常用方法包括均值填充、中位数填充或删除缺失数据。 数据标准化：将数据转换为统一的格式或范围，特别是在处理数值型数据时（如归一化或标准化）。 去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是保证数据集的质量，使其能够有效地训练模型，并减少对模型性能的不利影响。 模型开发：模型开发是大模型项目中的核心阶段，通常包括以下步骤： 选择合适的模型：根据任务目标选择适当的模型。 模型训练：使用处理后的数据集训练模型。 超参数调优：选择合适的学习率、批次大小等超参数，确保模型在训练过程中能够快速收敛并取得良好的性能。 开发阶段的关键是平衡模型的复杂度和计算资源，避免过拟合，同时保证模型能够在实际应用中提供准确的预测结果。 应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型优化与部署：将训练好的大模型部署到生产环境中，可能通过云服务或本地服务器进行推理服务。此时要考虑到模型的响应时间和并发能力。 模型监控与迭代：部署后的模型需要持续监控其性能，并根据反馈进行定期更新或再训练。随着新数据的加入，模型可能需要进行调整，以保证其在实际应用中的表现稳定。 在应用阶段，除了将模型嵌入到具体业务流程中外，还需要根据业务需求不断对模型进行优化，使其更加精准和高效。 父主题： 大模型基础知识

盘古NLP大模型对资源池的依赖 表3 盘古NLP大模型对资源池的依赖 模型名称 云上部署 边缘部署 ARM+Snt9B3 ARM+Snt9B3 Pangu-NLP-N1-32K-3.1.34 支持 - Pangu-NLP-N1-32K-3.2.36 支持 - Pangu-NLP-N1-128K-3.1.34 支持 - Pangu-NLP-N1-128K-3.2.36 支持 - Pangu-NLP-N2-4K-3.2.35 支持 支持 Pangu-NLP-N2-8K-3.1.39 支持 - Pangu-NLP-N2-32K-3.1.35 支持 支持 Pangu-NLP-N2-128K-3.1.35 支持 - Pangu-NLP-N2-256K-3.1.35 支持 - Pangu-NLP-N2-Reasoner-32K-3.0.0.1 支持 - Pangu-NLP-N4-4K-3.2.36 支持 - Pangu-NLP-N4-4K-2.5.32 支持 - Pangu-NLP-N4-4K-2.5.35 支持 - Pangu-NLP-N4-32K-2.5.32 支持 - Pangu-NLP-N4-32K-2.5.35 支持 -

盘古NLP大模型规格 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型，结合了大数据预训练和多源知识，借助持续学习不断吸收海量文本数据，持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外，盘古NLP大模型还具备模型调用等高级特性，可在智能客服、创意营销等多个典型场景中，提供强大的AI技术支持。 ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pangu-NLP-N1-32K-3.1.34 32K 4K 2024年11月发布的版本，支持8K序列长度训练，4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训，1个推理单元即可部署，4K支持256并发，32K支持256并发。 Pangu-NLP-N1-32K-3.2.36 32K 4K 2025年1月发布的版本，支持32K序列长度训练，4K/32K序列长度推理。全量微调、LoRA微调8个训练单元起训，1个推理单元即可部署，4K支持256并发，32K支持256并发。 Pangu-NLP-N1-128K-3.1.34 128K 4K 2024年11月发布的版本，仅支持128K序列长度推理，4个推理单元2并发。 Pangu-NLP-N1-128K-3.2.36 128K 4K 2025年1月发布的版本，仅支持128K序列长度推理，4个推理单元8并发。 Pangu-NLP-N2-4K-3.2.35 4K 4K 2025年1月发布的版本，支持4K序列长度训练，4K序列长度推理。全量微调、RFT微调32个训练单元起训，LoRA微调8个训练单元起训，支持混合部署和分离部署，4个推理单元即可部署，支持192并发。此模型版本差异化支持RFT训练、分离部署、边缘部署特性。 Pangu-NLP-N2-8K-3.1.39 8K 4K 2025年3月发布的版本，支持8K序列长度训练，8K序列长度推理。预训练、全量微调、DPO训练支持32个训练单元起训，LoRA微调支持8个训练单元起训，4个推理单元即可部署，支持192并发。 Pangu-NLP-N2-32K-3.1.35 32K 4K 2025年1月发布的版本，支持32K序列长度训练，32K序列长度推理。全量微调32个训练单元起训，LoRA微调8个训练单元起训，支持混合部署和分离部署，4个推理单元即可部署，支持128并发。此模型版本差异化支持分离部署、边缘部署特性。 Pangu-NLP-N2-128K-3.1.35 128K 4K 2024年12月发布的版本，仅支持128K序列长度推理部署，8个推理单元64并发。 Pangu-NLP-N2-256K-3.1.35 256K 4K 2024年12月发布的版本，仅支持256K序列长度推理部署，8个推理单元64并发。 Pangu-NLP-N2-Reasoner-32K-3.0.0.1 32K 4K 2025年3月发布的版本，仅支持32K序列长度推理部署，4个推理单元32并发。 Pangu-NLP-N4-4K-3.2.36 4K 4K 2025年3月发布的版本，支持4K序列长度训练，4K序列长度推理。预训练、全量微调、DPO训练64个训练单元起训，LoRA微调8个训练单元起训，8个推理单元即可部署，支持128并发。 Pangu-NLP-N4-4K-2.5.32 4K 4K 2024年11月发布的版本，支持4K序列长度训练，4K序列长度推理。全量微调64个训练单元起训，LoRA微调32个训练单元起训，8个推理单元即可部署，支持64并发。此模型版本差异化支持预训练、INT8/INT4量化特性。 Pangu-NLP-N4-4K-2.5.35 4K 4K 2025年1月发布的版本，支持4K序列长度训练，4K序列长度推理。全量微调64个训练单元起训，LoRA微调32个训练单元起训，8个推理单元即可部署，支持128并发。此模型版本差异化支持预训练、INT8/INT4量化特性。 Pangu-NLP-N4-32K-2.5.32 32K 4K 2024年11月发布的版本，仅支持32K序列长度推理部署，8个推理单元64并发。 Pangu-NLP-N4-32K-2.5.35 32K 4K 2025年1月发布的版本，仅支持32K序列长度推理部署，8个推理单元128并发。

盘古NLP大模型支持的平台操作 在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作： 表2 盘古NLP大模型支持的能力 模型名称 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-NLP-N1-32K-3.1.34 - √ √ - √ √ Pangu-NLP-N1-32K-3.2.36 - √ √ √ √ √ Pangu-NLP-N1-128K-3.1.34 - - √ - √ √ Pangu-NLP-N1-128K-3.2.36 - - √ - √ √ Pangu-NLP-N2-4K-3.2.35 √ √ √ √ √ √ Pangu-NLP-N2-8K-3.1.39 √ √ √ √ √ √ Pangu-NLP-N2-32K-3.1.35 √ √ √ √ √ √ Pangu-NLP-N2-128K-3.1.35 - - √ - √ √ Pangu-NLP-N2-256K-3.1.35 - - √ - √ √ Pangu-NLP-N2-Reasoner-32K-3.0.0.1 - - - - √ √ Pangu-NLP-N4-4K-3.2.36 √ √ √ √ √ √ Pangu-NLP-N4-4K-2.5.32 √ √ √ √ √ √ Pangu-NLP-N4-4K-2.5.35 √ √ √ √ √ √ Pangu-NLP-N4-32K-2.5.32 - - √ - √ √ Pangu-NLP-N4-32K-2.5.35 - - √ - √ √

空间管理 ModelArts Studio大模型开发平台为用户提供了灵活且高效的空间资产管理方式。平台支持用户根据不同的使用场景、项目类别或团队需求，自定义创建多个工作空间。每个工作空间都是完全独立的，确保了工作空间内的资产不受其他空间的影响，从而保障数据和资源的隔离性与安全性。用户可以根据需求灵活划分工作空间，实现资源的有序管理与优化配置，确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理，平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置，确保每个用户在其指定的工作空间内，拥有合适的访问与操作权限。这种精细化的权限管理方式，既保证了数据的安全性，又提高了资源的高效利用。 在平台中，空间资产指的是存储在工作空间中的所有资源，包括数据资产和模型资产。这些资产是用户在平台上进行开发和管理的基础，集中存储和统一管理的方式有助于提升操作效率，并确保资源的规范性与安全性。 数据资产：数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中，用户可以随时查看数据集的详细信息，如数据格式、大小、配比比例等，同时平台会自动记录每个数据集的操作历史，例如创建、发布及上线等过程。为了进一步简化管理，平台还支持数据集的删除功能，使用户能够对数据集进行灵活管理和调整。在模型训练和数据分析过程中，用户可以根据需求调用这些数据集，确保数据的准确性与安全性，从而提升数据资产的利用率。同时支持数据集发布到Gallery，支持从Gallery订阅数据集。 模型资产：模型资产包括用户试用、订购或在平台上训练后发布的模型，这些模型统一存储在模型资产中，便于集中管理。用户可以查看模型的所有历史版本及操作记录，从而了解模型的演变过程。同时，平台支持一系列便捷的模型操作，如模型训练、压缩和部署，帮助用户简化模型开发和应用流程。此外，平台还提供了导入和导出功能，支持用户将其他局点的盘古大模型迁移到本地局点，这使得模型资产在不同局点间的共享和管理变得更加灵活高效。同时支持模型发布到Gallery，支持从Gallery订阅模型。 通过统一管理空间资产，平台不仅帮助用户高效组织和利用资源，还保障了资产的安全性、一致性与灵活性。这些功能的结合，确保了平台上资源的高效利用与智能配置，为用户提供了更为便捷的开发和管理体验。 父主题： 产品功能