检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
知识库介绍 平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分
多轮问答（人设） jsonl 训练NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表2。 表2 构建NLP大模型所需数据量 模型规格 训练类型 推荐数据量 最小数据量（数据条数） 单场景推荐训练数据量 单条数据Token长度限制 N1 微调 - 1000条/每场景
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作，不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。
nt应用，快速体验智能化应用的便捷性。 平台提供导入知识功能，支持用户存储和管理数据，并与AI应用进行互动。支持多种格式的本地文档（如docx、pptx、pdf等），方便导入至知识，为Agent应用提供个性化数据支持。 平台还提供全链路信息观测和调试工具，支持开发者深入分析Age
<filename>bike_1_1593531469339.png</filename> <source> <database>Unknown</database> </source> <size> <width>554</width>
据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个数据集发布为特定格
预测类数据集格式要求 平台支持创建预测类数据集，创建时可导入时序数据、回归分类数据。 时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值，与时序数据不
气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针
如何将本地的数据上传至平台？ 导入数据过程中，为什么无法选中OBS的具体文件进行上传？ 如何查看预置模型的历史版本？ 更多 大模型微调训练类 如何调整训练参数，使盘古大模型效果最优？ 为什么微调后的盘古大模型的回答中会出现乱码？ 如何判断盘古大模型训练状态是否正常？ 数据量和质量均满足要求，为什么盘古大模型微调效果不好？
供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。 支持区域： 西南-贵阳一 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件，提供从模型创建到部署的一站式解决方案。
配置盘古访问OBS的权限。 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理，确保数
据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 清洗图片、视频类数据集 通过专用的清洗算子对数
此外，针对微调训练任务，平台提供了两种微调方式： 全量微调：适合有充足数据并关注特定任务性能的场景。在全量微调中，模型的所有参数都会调整，以适应特定任务的需求。这种方式适合样本量较大、对推理效果要求较高的任务。例如，在特定领域（如金融、医疗）中，若拥有大量标注数据，且需要更高的特定任务推理精度，则全量微调是优先选择。
输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息，变量集是一个excel文件，每行数据是需要输入的变量值信息，可以通过“导入”功能进行上传。 图1 效果预览 单击“查看效果”，输出模型回复结果，用户可以基于预览的效果调整提示词文本和变量。 父主题： 撰写提示词
流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 清洗气象类数据集 通过专用的清洗算子对数据进行预处理
件下载至本地。 导入插件。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的插件将在“工作台
训练智能客服系统大模型需考虑哪些方面 根据智能客服场景，建议从以下方面考虑： 根据企业实际服务的场景和积累的数据量，评估是否需要构建行业模型，如电商、金融等。 根据每个客户的金牌客服话术，可以对对话模型进行有监督微调，进一步优化其性能。 根据每个客户的实际对话知识，如帮助文档、案
部署模型”中，可选择模型以替换当前已部署的模型。 在“升级配置”中，选择以下两种升级模式： 全量升级：新旧版本服务同时运行，直至新版本完全替代旧版本。在新版本部署完成前，旧版本仍可使用。需要该服务所消耗资源的2倍，用于保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本
件下载至本地。 导入应用。 单击页面右上角“导入”。 在“导入”页面，单击“选择文件”选择需要导入的jsonl文件。 选择导入文件后，选择解析内容。 平台将自动解析jsonl文件。如果解析的文件在平台中已存在，勾选该文件将自动覆盖平台现有文件。 单击“导入”，导入成功的应用将在“工作台
部署模型”中，可选择模型以替换当前已部署的模型。 在“升级配置”中，选择以下两种升级模式： 全量升级：新旧版本服务同时运行，直至新版本完全替代旧版本。在新版本部署完成前，旧版本仍可使用。需要该服务所消耗资源的2倍，用于保障全量一次性升级。 滚动升级：部分实例资源空出用于滚动升级，逐个或逐批停止旧版本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
