检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
户提供的一站式数据处理与管理功能，旨在通过系统化的数据获取、加工、发布等过程，确保数据能够高效、准确地为大模型的训练提供支持，帮助用户高效管理和处理数据，提升数据质量和处理效率，为大模型开发提供坚实的数据基础。 数据工程包含的具体功能如下： 数据获取：数据获取是数据工程的第一步，支持将不同来源和格式的数据导入平台。
学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： 如果学习率过大，模型可能无法收敛。 如果学习率过小，模型的收敛速度将变得非常慢。 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 Lora矩阵的轶 较高的取值意味着更多的参数被更新，模型具有更大的灵活性，
ModelArts Studio大模型开发平台为用户提供了多种规格的NLP大模型，以满足不同场景和需求。不同模型在处理上下文token长度和功能上有所差异，以下是当前支持的模型清单，您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度
从控制台获取项目ID 登录管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 图1 我的凭证 在“我的凭证”页面，获取项目ID（project_id），以及账号名、账号ID、IAM用户名和IAM用户ID。 在调用盘古API时，获取的项目id需要与盘古服务部署区域一致，例如盘古
使用SDK前，需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本，替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在您的操作系统中下载并安装Maven，安装完成后您只需要在Java项目的pom
强训练模型的多样性和泛化能力。 标注数据集 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 发布数据集 评估数据集 平台预置了多种数据类型的基础评估标
在Agent开发平台中，插件是大模型能力的重要扩展。通过模块化方式，插件能够为大模型提供更多专业技能和复杂任务处理能力，使其在多样化的实际场景中更加高效地满足用户需求。 通过插件接入，用户可以为应用赋予大模型本身不具备的能力。插件提供丰富的外部服务接口，当任务执行时，模型会根据提示词感知适用的插件，并自动调
微调：微调是将新数据应用于已有模型的过程。它适用于不改变模型结构参数和引入新要素的情况。如果您有新的观测数据，可以使用微调来更新模型的权重，以适应新数据。 中期海洋智能预测模型的训练类型选择建议： 中期海洋智能预测模型的训练支持预训练、微调两种操作，如果直接使用平台预置的区域中期海洋智能预测模
为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注图片类数据集、标注视频类数据集 发布图片、视频类数据集 评估图片、视频类数据集 平台预置了多种数据类型的基础评估
模型生成句子与实际句子基于评估指标得到的评分后，统计平均得分。 goodcase 模型生成句子与实际句子基于评估指标得到的评分后，统计得分为5分的占比。 badcase 模型生成句子与实际句子基于评估指标得到的评分后，统计得分1分以下的占比。 用户自定义的指标 由用户定义的指标，如有用性、逻辑性、安全性等。
Face团队推出的一种大模型请求格式。 接口的响应体需要按照jsonpath语法要求进行填写，jsonpath语法的作用是从响应体的json字段中提取出所需的数据。 评测配置 评测类型 选择“自动评测”。 评测规则 选择“基于规则”。 评测数据集 评测模板：使用预置的专业数据集进行评测。
盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS
"target":"当然可以，基于你的兴趣，我推荐你阅读《自动驾驶的未来》。"}] 单个文件大小不超过50GB，文件数量最多1000个。 问答排序 jsonl、csv jsonl格式：context表示问题，targets答案1、2、3表示答案的优劣顺序，最好的答案排在最前面。 { "context":"context内容"
时序数据：时序预测数据是一种按时间顺序排列的数据序列，用于预测未来事件或趋势，过去的数据会影响未来的预测。 回归分类数据：回归分类数据包含多种预测因子（特征），用于预测连续变量的值，与时序数据不同，回归分类数据不要求数据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求 文件内容
Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单击模型名称，在“详情”页签中，可获取模型的部署ID。 图1 部署后的模型调用路径 若调用预置模型，可在左侧导航栏中选择“模型开发 >
且数据量小于500的样本数据。 mlp表示多层感知机，默认设置为5lgb，多种类算法示例: 3lgb,2rf,1xgb（表示使用3个LightGBM算法、2个随机森林算法和1个XGBoost算法）。 推荐的模型个数 指定从推荐模型中选择的模型个数，以提高模型的多样性并提升最终性能。
match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。
match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。
match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。
Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存，避免频繁调用。 如果您的华为云账号已升级为
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
