检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
正式使用盘古大模型服务前，需要完成服务的订购操作。 配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。
创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 清洗气象类数据集 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。
LabelEncoder的作用是将类别特征转换为数值型特征，使模型能够处理这些特征。 非特征列 列出不需要输入到模型中的特征列，用于排除冗余或无意义的特征。格式为["列名1","列名2"]，默认设置为[]，表示所有特征都用于训练。 标准化列 指定需要进行最大最小值标准化处理的数值特征的列表。格式为["列名1"
为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 Token计算器 用户在部署服务的过程中，建议开启“安全护栏”功能，以保证内容的安全性。 父主题： 使用前必读
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
知识库介绍 平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分
权重衰减 用于防止模型过拟合。在更新模型权重时，它会对模型参数施加惩罚，使得权重值趋于较小，从而提高模型的泛化性能。 滑动平滑训练 一种训练策略，通过在模型预测的标签上添加少量噪声来避免过拟合，常用于提升模型在测试数据集上的泛化能力。 极大值抑制阈值 在预测多个边界框时，用于去除高
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。 用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后，将生成“原始数据集”被平台统一管理，用于后续加工或发布操作。 创建导入任务 创建导入任务前，请先按照数据集格式要求提前准备数据。
训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。 支持区域： 西南-贵阳一 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台
管理盘古模型资产 模型资产介绍 用户在平台中可试用、已订购或训练后发布的模型，将被视为模型资产并存储在空间资产内，方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录，从而追踪模型的演变过程。同时，平台支持一系列便捷操作，包括模型训练、压缩和部署，帮助用户简化模型开发及应
B，文件数量最多1000个。 图片+Caption 图片支持tar，Caption支持jsonl 图片：图片以tar包格式存储，可以多个tar包。tar包存储原始的图片，每张图片命名要求唯一（如abc.jpg）。图片支持jpg、jpeg、png、bmp格式。 jsonl：图片描述
管理盘古数据资产 数据资产介绍 数据资产是指在平台中被纳入管理、存储并可供使用的数据集。 数据资产包含以下两种形式： 用户自行发布的数据集。 用户可以通过“数据工程 > 数据发布 > 数据流通”功能将数据集发布为数据资产。发布的数据集支持查看详细信息、编辑、删除以及发布至AI Gallery等操作。
训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。 模型开发工具链 模型开发工具链是盘古大模型服务的核心组件，提供从模型创建到部署的一站式解决方案。
org/project/rouge-score/）进行问答对的过滤。 下表列举了该场景常见的数据质量问题，以及相对应的清洗策略，供您参考： 表1 微调数据问题与清洗策略 序号 数据问题 清洗步骤与方式 1 问题或回答中带有不需要的特定格式内容或者时间戳等。 通过编写代码、正则表达式等进
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场
过程中，您需要用到账号、用户和密码等信息。 区域（Region） 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用
在平台中，空间资产指的是存储在工作空间中的所有资源，包括数据资产和模型资产。这些资产是用户在平台上进行开发和管理的基础，集中存储和统一管理的方式有助于提升操作效率，并确保资源的规范性与安全性。 数据资产：数据资产是指用户在平台上发布的所有数据集。这些数据集会被存储在数据资产中，用户可
单个评测集：由用户指定评测指标（F1分数、准去率、BLEU、Rouge）并上传评测数据集进行评测。 选择“单个评测集”时需要上传待评测数据集。 评测结果存储位置 模型评测结果的存储位置。 基本信息 评测任务名称 填写评测任务名称。 描述 填写评测任务描述。 参数填写完成后，单击“立即创建”，回退至“模型评测
数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类问题
格遵循指令进行回复的，关键信息为指令及说明。 补预设 当任务存在多个情境时，编写提示词时需要考虑全面，需要做好各种情境的预设，告知模型对应策略，可以有效防止模型误回答以及编造输出。 父主题： 提示词写作实践
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
