检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置盘古访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理
在创建数据集页面,单击“前往OBS”,进入OBS服务页面。 图3 前往OBS 在OBS控制台页面,单击界面右上角“创建桶”。 图4 OBS页面 创建OBS桶时,桶区域需要与盘古大模型区域保持一致。其余配置参数可以使用默认值,详细OBS桶参数说明请参见OBS用户指南。 图5 创建OBS桶 参数填选
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
添加Agent流式输出(Java SDK) Agent用于工具调用场景,与普通的LLM流式输出相比,提供了事件流的封装。消息内容、工具调用等通过不同的事件类型区分。 通过如下接口为Agent添加流式输出的回调: /** * 设置流式接口回调函数 * * @param streamAgentCallback
后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略,控制OBS的读写权限。 表1 策略信息 策略名称
print(agent_session) 上述代码分别对应了Agent的开始、中间过程和结束阶段。 为Agent添加一个监听器 通多调用Agent的addListener接口添加一个监听器: from pangukitsappdev.agent.react_pangu_agent import
盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
println(agentSession); } } 上述代码分别对应了Agent的开始、中间过程、结束阶段。 为Agent添加一个监听器 通多调用Agent的addListener接口添加一个监听器: import com.huaweicloud.pangu.dev.sdk.agent.ReactPanguAgent;
模型和模型导出的obs路径。 图3 导出模型 单击“确定”,导出模型。 模型导出成功后,可以在obs中查看导出后的模型文件。下载该obs文件,上传到环境B对应的obs桶中。 登录环境B的盘古大模型套件平台,在“模型迁移”页面,选择“导入模型”,输入模型对应的obs地址和模型名称后,单击“确定”,启动导入模型任务。
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
添加Agent流式输出(Python SDK) Agent用于工具调用场景,与普通的LLM流式输出相比,区分了文本流与工具流。 文本流将输出模型的思考过程和最终结果;工具流将输出工具的调用过程,而工具的调用的执行结果是通过监听获取的。 通过如下接口为Agent添加流式输出的回调:
单击页面右上角“创建提示用例集”,进入创建弹窗。 单击存储位置最右侧的图标,选择数据集文件所对应的obs路径,然后输入数据集名称、描述,创建数据集。 创建数据集前,请先将数据上传至OBS。 图4 创建数据集 父主题: 批量评估提示词效果
表示主控节点。 在服务器执行如下命令,判断docker是否安装成功。 systemctl status docker 在服务器执行如下命令,判断edge agent是否安装成功。 hdactl info 配置hda.conf配置文件信息(可选) 登录nfs服务节点,执行如下命令:
安装SDK(Java SDK) Maven中央仓导入 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId> <artifactId>pangu-kits-app-dev-java</artifactId>
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
是否可用于训练 >=80% 绿色 可用 >=40% 黄色 预警,需要优化数据 <40% 红色 告警,需要优化数据 (可选)当“我的数据集”的OBS数据发生变更时,可以单击右上角“检测”按钮重新校验数据集,也可以在“我的数据集”页签中,单击操作栏中的“更多 > 检测”,重新校验数据集。
购买盘古系列大模型及推理资产。 购买盘古大模型套件 开通盘古大模型服务 开通大模型的文本补全、多轮对话能力。 开通盘古大模型服务 配置授权/创建子用户 配置盘古访问OBS服务权限,多用户使用平台情况下需要创建子用户。 配置盘古访问授权 创建子用户并授权使用盘古 准备训练数据 创建一个新的数据集 创建一个新的
注意,上述tool_list中包含的工具在SDK中并不存在,需要替换成实际的工具。 向ToolRetriever中添加工具: # 添加工具 css_tool_retriever.add_tools(tool_list) 工具添加后,会存储在向量库的索引中,并将指定的字段向量化。 从ToolRetriever中查找工具:
提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格和格式等。 撰写提示词时,可以设置提示词变量,即在提示词中通过添加占位符{{ }}标识,表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,将提示词设置为“你是一个旅游
n内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。