检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
allback, tool_stream_callback) StreamCallBack的实现与定义与LLM的回调完全相同。 父主题： 配置Agent(Python SDK)
ovider, vector_config) 定义一个ToolRetriever包含2个参数，一个ToolProvider，一个向量数据库配置。其中，ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvider，I
"description")) .build()); 定义一个ToolRetriever包含ToolProvider和向量数据库配置2个参数。其中，ToolProvider的作用为根据工具检索的结果组装工具。 上述例子使用了一个简单的InMemoryToolProvid
使用Postman调用API时，如果出现SSL证书无效相关的报错，如“self signed certificate”（自签名证书）、“certificate has expired”（证书已过期）或“unable to verify the first certificate”（无法验证第一个证书）等。可以在Postman的设置中关闭“SSL
环境准备 python3.9 及以上版本。 安装依赖的组件包， pip install pangu_kits_app_dev_py gradio。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam和pangu配置项。信息收集请参考盘古应用开发SDK使用前准备。
使用盘古大模型应用开发SDK时，需要在代码中配置以下信息，请提前收集。 表1 配置项说明及获取方式 类型 资源 是否必选 相关配置项 说明 配置项值获取方式 IAM认证 - 是 sdk.iam.url Token认证调用URL。 示例：POST https://{endpoint}/v3/auth/tokens
使用Postman调用API时，如果出现SSL证书无效相关的报错，如“self signed certificate”（自签名证书）、“certificate has expired”（证书已过期）或“unable to verify the first certificate”（无法验证第一个证书）等。可以在Postman的设置中关闭“SSL
主控节点。 在服务器执行如下命令，判断docker是否安装成功。 systemctl status docker 在服务器执行如下命令，判断edge agent是否安装成功。 hdactl info 配置hda.conf配置文件信息（可选） 登录nfs服务节点，执行如下命令： vi
在“创建边缘节点”页面中，填写节点名称，配置AI加速卡与日志信息，单击“确定”。 如果节点有npu设备需选择“AI加速卡 > Ascend”，并选择加速卡类型。 如果节点没有加速卡，则选择“AI加速卡 > 不使用”。 单击“立即下载”，下载设备证书和Agent固件，并将设备证书与Agent固件分别重命名为license
过与用户多轮对话，实现会议室预订场景。 环境准备 Java 1.8。 参考安装章节，完成基础环境准备。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam、pangu配置项。信息收集请参考盘古应用开发SDK使用前准备。 # Copyright (c)
模型部署”，单击界面右上角“部署”。 在创建部署页面，完成部署配置，填写基本信息。 表1 部署配置参数 参数名称 说明 选择模型 选择需要部署的模型。 推理资源 选择非限时免费的模型时显示。选择盘古大模型服务提供的在线推理资产。 部署方式 选择“在线部署”，即将算法部署至盘古大模型服务提供的资源池中。
模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，设置模型类型、训练类型、训练模型、训练参数和checkpoints等参数。 其中，训练配置选择LLM（大语言模型），训练类型选择自监督训练，根据所选模型配置训练参数。 表1 自监督训练参数说明 参数名称 说明 模型类型
python3.9 及以上版本。 安装依赖的组件包， pip install pangu_kits_app_dev_py gradio python-docx。 盘古大语言模型。 开发实现 创建配置文件llm.properties， 正确配置iam和pangu配置项。信息收集请参考盘古应用开发SDK使用前准备。
模型训练”，单击界面右上角“创建训练任务”。 图1 模型训练列表 在训练配置中，选择模型类型、训练类型、训练方式、训练模型与训练参数。 其中，训练配置选择LLM（大语言模型），训练类型选择有监督训练，根据所选模型配置训练参数。 表1 有监督微调参数说明 参数名称 说明 模型类型 选择“LLM”。
可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 父主题： 安全
模型评估”。 单击界面右上角“创建评估任务”，进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置： 待评估模型：支持选择多个模型版本同时评估，最多选择5个。待评估模型必须符合前提条件。 评估资源：依据选择的模型数据自动给出所需的评估资源。
登录盘古大模型套件平台。 在左侧导航栏中选择“模型开发 > 模型评估”。 单击任务名称查看模型评估任务详情。包含基本信息、评估详情、评估报告、评估日志以及数据配置。 图1 任务详情界面 任务详情： 任务详情中包含打分模式、评估资源、评估模型、任务状态以及模型描述。 图2 任务详情 评估报告： 任务状
使用推理SDK 安装SDK 使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
安装Ascend插件 详情请参考官方文档：https://www.hiascend.com/document/detail/zh/mindx-dl/50rc1/dluserguide/clusterscheduling/dlug_scheduling_02_000001.html
Java 安装SDK(Java SDK) 配置SDK(Java SDK) 配置LLMs(Java SDK) 配置Prompt(Java SDK) 配置Memory(Java SDK) 配置Skill(Java SDK) 配置Agent(Java SDK) 父主题： 盘古应用开发SDK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
