检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的各方向发散的，如果您需要进行范围约束，或加强模型对已有信息的理解，可以进行提示：“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”，或者可以说明已有的信息是什么领域的信息，比如“以上是金融领域的新闻”、“以上是一篇xx领域的xxx文档”。
海量训练数据 盘古大模型依托海量且多样化的训练数据，涵盖从日常对话到专业领域的广泛内容，帮助模型更好地理解和生成自然语言文本，适用于多个领域的业务应用。这些数据不仅丰富多样，还为模型提供了深度和广度的语言学习基础，使其能够生成更加自然、准确且符合语境的文本。 通过对海量数据的深入学
清洗算子功能介绍 数据清洗是提高数据质量的重要环节，包括去除异常的字符、去除表情符号和去除个人敏感内容等，经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力： 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转
明、表5。 在数据配置中，选择训练数据集、验证数据等参数。 验证数据可选择“从训练数据拆分”和“从已有数据导入”。 从训练数据拆分：取值范围[1%-50%]。设置1%即从训练数据中随机拆分出1%的数据作为验证集，验证集中最多使用100条数据用于模型训练效果评估。数据按比例拆分后，
构建的优点是数据丰富度更高，缺点是成本较高。 当您将无监督数据构建为有监督数据时，请尽可能保证数据的多样性。建议将不同文本构建为不同的场景，甚至将同一段文本构建为多个不同的场景。 不同规格的模型支持的长度不同，当您将无监督数据构建为有监督数据时，请确保数据长度符合模型长度限制。 父主题：
数据量和质量均满足要求，为什么微调后的效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习
hanghai 云数据库RDS： https://support.huaweicloud.com/rds/index.html sdk.memory.rds.user sdk.memory.rds.password 用户认证信息。 设置的用户/密码。 Mysql 否 sdk.memory
配置文档问答能力(Python SDK) 基于已有的知识库进行回答。有stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适合文档较少的场景。 from pangukitsappdev.api.embeddings.factory
数据量和质量均满足要求，Loss也正常收敛，为什么微调后的效果不好 这种情况可能是由于以下几个原因导致的，建议您依次排查： Prompt设置：请检查您使用的Prompt，对于同一个目标任务，建议在推理阶段使用和训练数据相同或相似的PROMPT，才能发挥出模型的最佳效果。 模型规格
配置文档摘要能力(Python SDK) 基于已有的知识库，进行摘要总结。有stuff、refine、map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适合文档较少的场景。 from pangukitsappdev.api.embeddings
基于边缘部署准备工作与注册边缘资源池节点，按照以下目录结构存放下载文件，注意修改下载文件的命名。其中，docker下的certs证书会自动生成，一般无需修改。 pkgs // 包目录，用户自行命名 docker docker.tgz // docker 二进制文件，要求版本>19
色，控制他们对资源的使用范围。 IAM权限 默认情况下，管理员创建的IAM用户（子用户）没有任何权限，需要将其加入用户组，并对用户组授权，才能使得用户组中的用户获得对应的权限。授权后，用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据，如果需要对O
配置文档问答能力(Java SDK) 基于已有的知识库进行回答，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型回答，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk
滤。 与上述的toolProvide呼应，在向toolRetriever中添加工具时，可以添加任意的元数据，用于在tooProvider中把工具组装出来： // 构造工具元数据 Map<String, Object> toolMetaData = new HashMap<>();
一种替代温度采样的方法，称为nucleus sampling，其中模型考虑具有top_p概率质量的标记的结果。通常建议更改此值或温度，但不要同时更改两者。通常建议更改top_p或temperature来调整生成文本的倾向性，但不要同时更改这两个参数。 取值范围：(0, 1] 缺省值：N1模型为0.7、N2模型为1，N4模型为0
盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制。在训练和推理过程中，通过数据脱敏、隐私计算
配置知识库 大模型在进行训练时，使用的是通用的数据集，这些数据集没有包含特定行业的数据。通过知识库功能，用户可以将领域知识上传到知识库中，向大模型提问时，大模型将会结合知识库中的内容进行回答，解决特定领域问题回答不准的现象。 登录盘古大模型套件平台。 在左侧导航栏中选择“应用开发
配置文档摘要能力(Java SDK) 基于已有的知识库进行摘要总结，包括stuff、refine和map-reduce策略。 Stuff：将所有文档直接填充到prompt中，提给模型处理，适用于文档较少的场景。 import com.huaweicloud.pangu.dev.sdk
配置Histroy(Python SDK) History缓存，用于存储历史对话信息，辅助模型理解上下文信息，历史消息对有固定窗口、消息摘要等策略。 初始化：消息记录支持不同的存储方式， 如内存、DCS（Redis）和RDS（Sql）。 from pangukitsappdev.memory.sql_message_history
报错原因：模型训练过程中，训练日志出现“no such file or directory”报错，表示当前数据集格式、数据命名、数据存储路径不满足训练要求。 解决方案：请参考数据格式要求校验数据集格式。 请检查数据集路径是否设置正确。 图2 no such file or directory报错 The
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
