检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能总览 功能总览 全部 数据工程套件 模型开发套件 应用开发套件 能力调测 应用百宝箱 数据工程套件 数据工程套件作为盘古大模型的重要组成部分，具备数据获取、清洗、配比和管理等功能。该套件能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。 通过提供自动化的质量检测
与其他云服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（IAM）并结合盘古大模型套件平台提供的“角色管理”功能实现精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用盘古的其他功能。
获取数据清洗模板 在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。平台提供了多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，进入“清洗模板”页面，在该页面查看预置的数据清洗模板。
enabled= 日志打印配置 SDK日志采用slf4j框架，业务项目中可以使用logback、log4j、slf4j默认等具体实现（实现任一即可）。 通过logback实现。 参考以下代码在pom文件中引入logback相关依赖（建议 1.3.1--1.3.8 版本）。 <dependency>
如，需要模型使用某银行客服的口吻进行线上问答，此时需要使用符合该银行风格和格式的数据集进行微调，以提升模型的遵循度。 Prompt工程后，效果仍无法达到预期：当对模型做了大量的Prompt工程，加之目标任务的难度也较高，通用模型的回答可能无法达到预期，此时建议采用目标任务的数据进行微调，以提升模型回答的准确性。
当需要在Agent的执行过程中终止执行时，除了通过setMaxIterations设置Agent的最大迭代次数，也可以通过实现监听器的onCheckInterruptRequirement实现。 agent.addListener(new AgentListener() { @Override
配置盘古访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 使用主账号登录盘古大模型套件平台。 在左侧菜单选择“平台管理
当需要在Agent的执行过程中终止执行时，除了通过setMaxIterations设置Agent的最大迭代次数，也可以通过实现监听器的on_check_interrupt_requirement实现。 class InterruptListener(AgentListener): def o
set_stream_callback(text_stream_callback, tool_stream_callback) StreamCallBack的实现与定义与LLM的回调完全相同。 父主题： Agent（智能代理）
用于拓展AI助手功能，使其能够与外部系统进行交互。可以直接创建一个工具，或者从搜索框中选择已经创建好的工具。 知识库 通过知识库提升AI助手在特定领域问题的回答效果。 高级配置 工具召回策略 设置从所有可用工具中选择最相关的工具来处理用户的问题策略。 类型：使用词嵌入技术（embedding）来衡量用户问题与工具之间的相关性。
训练的热身阶段内学习率较小，模型可以慢慢趋于稳定，待模型相对稳定后再逐渐提升至预设的最大学习率进行训练。使用热身可以使得模型收敛速度更快，效果更佳。 当前盘古-NLP-N4-基模型支持自监督训练。 表3 盘古-NLP-N4-基模型训练参数推荐 训练参数 推荐值 数据批量大小 4 训练轮数
权限管理 如果您需要为企业员工设置不同的访问权限，以实现对华为云上购买的盘古大模型资源的权限隔离，可以使用统一身份认证服务（IAM）和盘古角色管理功能进行精细的权限管理。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，可以跳过本章节，不影响您使用服务的其他功能。
开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模型输入、输出的有害信息，保障模型调用安全。用户在开通API后，可依据需求选择是否开通、启用内容审核。 父主题： 如何调用REST API
度的计算，实现对数据的语义理解和检索。 Vector向量存储：是一种将数据转换为数学表示的方法，它可以度量数据之间的关系和相似度。向量存储可以根据不同的词向量模型进行初始化、更新、查找和清理操作。向量存储还可以支持多种相似算法，如余弦相似度、欧氏距离、曼哈顿距离等，实现对数据的相似度评分和排序。
度的计算，实现对数据的语义理解和检索。 Vector向量存储：是一种将数据转换为数学表示的方法，它可以度量数据之间的关系和相似度。向量存储可以根据不同的词向量模型进行初始化、更新、查找和清理操作。向量存储还可以支持多种相似算法，如余弦相似度、欧氏距离、曼哈顿距离等，实现对数据的相似度评分和排序。
开启内容审核后，可以有效拦截大模型输入输出的有害信息，保障模型调用安全，推荐进行开启。 图3 大模型内容审核 盘古大模型支持通过对接内容审核，实现拦截大模型输入、输出的有害信息，保障模型调用安全。用户可依据需求选择是否开通、启用内容审核。 推荐用户购买内容审核套餐包，购买内容审核套餐包时，需要选择“文本内容审核”套餐。
式大模型开发与应用平台。平台支持大模型的定制开发，提供全生命周期工具链，帮助开发者高效构建与部署模型，企业可灵活选择适合的服务与产品，轻松实现模型与应用的开发。 公测 产品介绍 2 盘古大模型「应用百宝箱」上线 应用百宝箱是盘古大模型为用户提供的便捷AI应用集，首批支持14个开箱
有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。 由
多轮执行增强 上述的例子中实际运行时只提供给模型多轮的对话，并没有提供工具执行的过程，有概率会出现模型不实际调用工具的情况。为了让大模型的效果更好，可以传入agentSession。 AgentSession agentSession = AgentSessionHelper.i
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
