检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Recently Used:根据当前时间与最后一次访问时间的差值超过存活时间时删除。 First In First Out:根据当前时间与创建时间的差值超过存活时间时删除。 Least Frequency Used:小于缓存命中阈值且当前时间与创建时间大于存活时间时清除,大于阈值时保留
是否扩展长上下文。提供更广泛的上下文,以生成完整回答。 缺省值:false effective_input_length 否 Integer 效果最好的上下文长度,与模型相关,确保输入令牌的有效长度以保证最佳输出 考虑到多轮对话,建议控制在模型上下文长度的60%(向上取整)。 最小值:2 最大值:128 top_p
"reference_total" : "3" } 状态码 状态码 描述 200 模型生成结果响应体 错误码 请参见错误码。 父主题: 搜索与问答
最大长度:1000000 表3 请求Body参数 参数 是否必选 参数类型 描述 top_k 否 Integer top_k配置。top_k指召回前k条与query相关的片段 最小值:10 最大值:500 reference_count 否 Integer 参考文档数量。参考文档指最终和que
是否扩展长上下文。提供更广泛的上下文,以生成完整回答。 缺省值:false effective_input_length Integer 效果最好的上下文长度,与模型相关,确保输入令牌的有效长度以保证最佳输出 考虑到多轮对话,建议控制在模型上下文长度的60%(向上取整)。 最小值:2 最大值:128 top_p
是否扩展长上下文。提供更广泛的上下文,以生成完整回答。 缺省值:false effective_input_length Integer 效果最好的上下文长度,与模型相关,确保输入令牌的有效长度以保证最佳输出 考虑到多轮对话,建议控制在模型上下文长度的60%(向上取整)。 最小值:2 最大值:128 top_p