检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI助手 什么是AI助手 配置AI助手工具 配置知识库 创建AI助手 调测AI助手 调用AI助手API
创建AI助手 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”,单击页面右上角“创建助手”。参考表1完成AI助手匹配。 表1 创建AI助手参数说明 参数分类 参数名称 参数说明 基本信息 助手名称 设置AI助手的名称。
什么是AI助手 AI助手是一种基于NLP大模型构建的人工智能应用,它通过结合多种工具并利用大模型的对话问答、规划推理、逻辑判断等能力,来理解和回应用户的需求。 例如,需要构建一个企业助理应用,该应用需要具备预定会议室、创建在线文档和查询报销信息等功能。
调测AI助手 在AI助手的创建页面可以直接进行调测,也可以在AI助手列表页进行调测。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发 > AI助手”,选择需要调测的AI助手,单击“调测”按钮。
调用AI助手API 获取AI助手API调用地址 登录盘古大模型套件平台。 左侧导航栏选择“应用开发 > AI助手”,选择需要运行的AI助手,单击“查看”。 图1 查看AI助手 在详情页面,AI助手API调用地址。
父主题: AI助手
父主题: AI助手
开源模型 SDK支持兼容OpenAI-API规范的开源模型。例如,用vllm框架使用OpenAI-API启动推理服务。当前鉴权方式支持AppCode鉴权和华为云的APIG简易认证方式。
在“创建边缘节点”页面中,填写节点名称,配置AI加速卡与日志信息,单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”,并选择加速卡类型。 如果节点没有加速卡,则选择“AI加速卡 > 不使用”。
在Postman中选择“Body > raw”选项,参考图4复制并填入以下代码,并填写user name、domain name、password。
安装Ascend插件 详情请参考官方文档:https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
初始化 from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.skill.base import SimpleSkill from langchain.prompts import PromptTemplate
模板格式化 from langchain import PromptTemplate from pangukitsappdev.api.llms.factory import LLMs from pangukitsappdev.api.llms.llm_config import
当训练广告文案生成任务时,训练数据则需要包含一定量的广告文案数据。 模型评估 一个评估数据集内,上传的数据文件数量不得超过100个,单文件大小不得超过1GB,所有文件的总大小不得超过1GB。 数据格式要求 盘古大模型服务支持如下数据,格式要求请参见表3。
自定义模型 如果使用的模型不是盘古或者兼容OpenAI-API的开源模型,如,闭源模型或者裸机部署的自定义推理服务,可以通过继承AbstractLLM自定义一个模型,示例代码如下: @Slf4j public class CustomLLM extends AbstractLLM<
# IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm.pangu.iam.domain= sdk.llm.pangu.iam.user= sdk.llm.pangu.iam.password= sdk.llm.pangu.project=
概述 盘古大模型整合华为云强大的计算和数据资源,将先进的AI算法集成在预训练大模型中,打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 华为云盘古大模型,以下功能支持API调用。
# IAM 认证信息,根据实际填写 sdk.llm.pangu.iam.url= sdk.llm.pangu.iam.domail= sdk.llm.pangu.iam.user= sdk.llm.pangu.iam.password= sdk.llm.pangu.iam.project
盘古大模型通过学习用户所需的文案风格和内容,能够轻松完成广告文案、社交媒体帖子、新闻稿等多种写作任务。它不仅能提供创意丰富、语言生动的文案,还能根据不同产品特性和目标受众进行定制,帮助产品吸引更多的潜在客户。
无论是生成文章、撰写报告,还是设计广告文案,盘古大模型都能根据输入需求灵活调整,生成符合预期的高质量内容。 推理速度快 盘古大模型采用了高效的深度学习架构和优化算法,显著提升了推理速度。在处理请求时,模型能够更快地生成结果,减少等待时间,从而提升用户体验。