云服务器内容精选

LLMs（语言模型）

盘古大模型 PANGULARGEMODELS-开源模型

开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如，用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。配置文件需要指定url和key，配置项为： sdk.llm.openai.url=https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/.../v1 sdk.llm.openai.key=your-key 初始化LLM： final OpenAI llm = new OpenAI( LLMConfig.builder().llmModuleConfig(LLMModuleConfig.builder().moduleVersion("llama3-70B").build()).build()); LLMRespOpenAI result = llm.ask("你好"); 上述moduleVersion根据实际情况传值，也可以使用代码进行url和key的配置： final OpenAI llm = new OpenAI(LLMConfig.builder() .llmModuleConfig(LLMModuleConfig.builder().moduleVersion("expert_q4").build()) .openAIConfig(OpenAIConfig.builder() .openaiBaseUrl("https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/.../v1") .openAiKey("your-key") .build()) .build()); 使用AppCode鉴权添加的Header： X-Apig-AppCode:your-key 使用APIG简易认证方式添加的Header： Authorization:Bearer your-key 当LLM被定义好之后，使用方式与盘古大模型相同，开源模型也支持Agent调用，可参考实例化Agent。父主题： LLMs（语言模型）

盘古大模型 PANGULARGEMODELS LLMs（语言模型）