检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装SDK Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
搭建边缘服务器集群 执行如下命令,生成docker证书。注意该命令只需执行一次,如果已有相关证书,请跳过该步骤。 bash cluster_install-ascend.sh generate_docker_cert --pkg-path=/home/hilens/pkgs 基于
请在SDK中心获取最新的sdk包版本,替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在您的操作系统中下载并安装Maven,安装完成后您只需要在Java项目的pom.xml文件中加入相应的依赖项即可。 <dependency> <groupId>com
追加:清洗后数据增加到原有数据集路径下。 任务信息填写完成后,单击“下一步”,搭建数据清洗流程。 可以使用预置的清洗模板完成对数据集的清洗,也可以基于算子搭建清洗流程。 图2 搭建数据清洗流程 将算子拖拽至“输入”、“输出”之间,即可完成清洗流程的搭建,搭建过程中可以通过“执行节点”功能查看算子对数据的清洗
部署为边缘服务 边缘服务部署流程 边缘部署准备工作 注册边缘资源池节点 搭建边缘服务器集群 安装Ascend插件 订购盘古边缘部署服务 部署边缘模型 调用边缘模型 父主题: 部署盘古大模型
准备工作 注册华为账号并开通华为云,并完成实名认证,账号不能处于欠费或冻结状态。 检查开发环境要求,确认本地已具备开发环境。 开通盘古大模型API。 登录盘古大模型套件平台。 在左侧导航栏中选择“服务管理”,在相应服务的操作列单击“查看详情”,可在服务列表中申请需要开通的服务。
jackson.datatype.jsr310.JavaTimeModule 用户本地工程引入了jackson框架,和华为云sdk引入的jackson框架冲突了,导致会报找不到某个类,建议客户在本地引入bundle包报来避免出现依赖冲突。 <dependency> <groupId>com
提示词工程 - 利用精心设计的提示词优化和引导大模型生成更加准确和相关的输出,提高模型在特定任务中的表现。 提示词工程 AI助手 - 通过大模型搭建Agent应用,并结合多种工具,实现对话问答、规划推理和逻辑判断功能。 AI助手 应用开发SDK - 通过应用开发SDK提供的大模型调用、
安装SDK pip直接安装 执行如下命令: pip install pangu_kits_app_dev_py 本地导入 从support网站上下载pangu-kits-app-dev-py的whl包。 建议使用conda创建一个新的python环境,python版本选择3.9。
用户可以将此次的评估报告通过导出按钮全部导出至本地存储,文件导出格式为CSV。 图3 评估报告页面 评估日志: 平台支持查看本次模型评估任务的详细日志。选择评估的模型后,可以查看其从创建开始到任务结束的日志内容,支持下载并保存到本地(log格式)。可通过日志查看报错,调整任务配置重新发起。
worker bms-panguXXXX CPU:鲲鹏(4*48Core@2.6GHz) 内存:24*64GB DDR4 RAM(GB) 本地磁盘:3*7.68TB NVMe SSD 扩展配置:2*100GE+8*200GE 类型:physical.kat2e.48xlarge.8
流程。pipeline编排流程可以基于python代码实现,也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建,也可以利用外部web搜索引擎。在初步验证大模型效果时,可以假设检索出的文档完全相关,将其与query及特定prompt模板拼接后输入模型,观察输出是否符合预期。