检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LLMs模块用于对大语言模型API的适配封装,提供统一的接口快速地调用盘古、开源模型等模型API。 初始化:根据相应模型定义LLM类。例如,使用盘古LLM为: LLMs.of(LLMs.PANGU)。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLM;
导致账户冻结,并直接进入保留期,保留期按需资源不可调用。续费后可恢复正常使用,但续费的生效时间以原到期时间为准,需支付从进入保留期开始至续费时的费用。 账户欠费后,部分操作将受限,建议您尽快续费。具体受限操作如下: 按需方式的API接口不可调用。 无法开通服务。 服务到期 包年包
配置基础问答能力(Python SDK) 提供简单的对话实现。 初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain
单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情: 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。 图2 任务详情 评估报告: 任务状态为“已完成”时,查看评估报告。评估报告中包含困惑度、评估概览以及模型结果分析。
restart hdad 进入ModelArts服务,选择所需空间。进入“边缘资源池 > 节点”,在当前设备节点操作列单击“激活”,节点状态将从“未激活”转为“已激活”。 进入“边缘资源池 > 资源池”,单击“创建”。填写资源池名称,选择“ModelArts边缘节点”,在“主控节点”处单击“
ng模型API的适配封装,提供统一的接口快速地调用CSS等模型emebedding能力。 初始化:根据相应模型定义Emebedding类,如使用华为CSS Embedding为:Embeddings.of("css");。 from pangukitsappdev.api.embeddings
oud-sdk-pangulargemodels 在线生成SDK代码 API Explorer可根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 图1 获取SDK代码示例
创建评估任务 评估配置: 待评估模型:支持选择多个模型版本同时评估,最多选择5个。待评估模型必须符合前提条件。 评估资源:依据选择的模型数据自动给出所需的评估资源。 打分模式:当前版本打分模式仅支持基于规则,用户不可选,且暂无人工打分。基于规则打分:使用预置的相似度或准确率打分规
pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory.vector
import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms.llm_config import LLMConfig, LLMParamConfig
初始化。 import com.huaweicloud.pangu.dev.sdk.api.llms.LLMs; import com.huaweicloud.pangu.dev.sdk.api.skill.Skills; import com.huaweicloud.pangu
pangukitsappdev.api.embeddings.factory import Embeddings from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.memory.vector
调用边缘模型 调用边缘模型的步骤与使用“在线部署”调用模型的步骤相同,具体步骤请参考使用API调用模型。 父主题: 部署为边缘服务
模型能力与规格 模型的基础信息 模型支持的区域 模型支持的操作
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
Python 安装SDK(Python SDK) 配置SDK(Python SDK) 配置LLMs(Python SDK) 配置Prompt(Python SDK) 配置Memory(Python SDK) 配置Skill(Python SDK) 配置Agent(Python SDK)
skill.conversation_skill import ConversationSkill from pangukitsappdev.api.llms.factory import LLMs skill = ConversationSkill(LLMs.of("pangu"))
配置Skill(Java SDK) 配置基础问答能力(Java SDK) 配置多轮对话能力(Java SDK) 配置文档问答能力(Java SDK) 配置文档摘要能力(Java SDK) 父主题: Java
配置Memory(Python SDK) Memory(记忆)模块结合外部存储为LLM应用提供长短期记忆功能,用于支持上下文记忆的对话、搜索增强等场景。 Memory(记忆)支持多种不同的存储方式和功能。 Cache缓存:是一种临时存储数据的方法,它可以提高数据的访问速度和效率。
配置Skill(Python SDK) 配置基础问答能力(Python SDK) 配置多轮对话能力(Python SDK) 配置文档问答能力(Python SDK) 配置文档摘要能力(Python SDK) 父主题: Python