检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询推理作业详情 功能介绍 根据创建推理作业的作业ID获取科学计算大模型的结果数据。 URI 获取URI方式请参见请求URI。 GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作
查询推理作业详情 功能介绍 根据创建推理作业的作业ID获取科学计算大模型的结果数据。 URI 获取URI方式请参见请求URI。 GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作
文本类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持文本类数据集的清洗操作，分为数据提取、数据转换、数据过滤三类，文本类加工算子能力清单见表1。
训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根据实际情况调整“学习率”的值，帮助模型更好收敛。 数据质量：请检
数据量和质量均满足要求，为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或
在提示词撰写区域输入提示词文本，可以插入若干个变量，变量需要使用占位符{{ }}标识。 图2 撰写提示词 撰写完成后，单击“确定”，平台会自动识别插入的变量。提示词中识别的变量将展示在变量定义区域。 变量名称可以进行修改，如添加备注信息以便更好理解变量的作用。 图3 变量定义 变量
收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求： 数据格式样例：JSON
合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 数据质量：请检查训练数据的质量，若训练样本出现了大量重复数据，或者数据多样性很差，则会加剧该现象。 父主题： 大模型微调训练类问题
'EQUAL-TO'}]}}"} 数据量级要求：本场景使用了30000条数据进行微调。 类似场景需要的微调数据量视具体情况而定，从经验上来说，若实际场景相对简单和通用，使用几千条数据即可；若场景复杂或专业，则需要上万条数据。 数据质量要求： 保证数据的分布和目标需要与实际场景匹配。 保证数据的覆盖度：数
过”逐一对数据进行审核，直至所有数据审核完成。 审核过程中可开启“标注前后对比”功能，查看当前数据标注前后的内容。 在完成数据标注审核后，需在“数据标注 > 任务管理”页面单击“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题：
过”逐一对数据进行审核，直至所有数据审核完成。 审核过程中可开启“标注前后对比”功能，查看当前数据标注前后的内容。 在完成数据标注审核后，需在“数据标注 > 任务管理”页面单击“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题：
合计）、分组、排序、比较、条件（逻辑操作、离散条件、范围区间等条件的混合和嵌套）、日期操作，支持多表关联查询。 与非专业大模型相比，专业大模型针对特定场景优化，更适合执行数据分析、报告生成和业务洞察等任务。 ModelArts Studio大模型开发平台为用户提供了多种规格的专业
文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。
图片类数据集格式要求 ModelArts Studio大模型开发平台支持创建图片类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 图片类数据集格式要求 文件内容 文件格式 文件要求 仅图片 tar、图片目录 图片：支持jpg、jpeg、png、bmp类型。 ta
在左侧导航栏中选择“数据工程 > 数据获取 > 原始数据集”，单击需要查看的数据集名称。 查看数据集基本信息。在“基本信息”页签，可以查看数据详情、数据来源以及扩展信息。 下载原始数据集。在“数据预览”页签，可以查看数据内容，单击右上角“下载”即可下载原始数据集。 查看数据血缘。在“数据血缘”
案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。
在完成数据清洗后，如果无需使用数据合成与数据标注功能，可直接在“数据清洗”页面单击操作列“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题： 加工文本类数据集
过”逐一对数据进行审核，直至所有数据审核完成。 审核过程中可开启“标注前后对比”功能，查看当前数据标注前后的内容。 在完成数据标注审核后，需在“数据标注 > 任务管理”页面单击“生成”，生成加工数据集。 加工后的数据集可在“数据工程 > 数据加工 > 加工数据集”中查看。 父主题：
使用数据工程构建CV大模型数据集 CV大模型支持接入的数据集类型 盘古CV大模型支持接入图片类、视频类、其他类数据集，，不同模型所需数据见表1，数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。 表1 训练CV大模型数据集类型要求 基模型 训练场景
清洗视频类数据集 清洗视频类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。 创建视频类数据集清洗任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”，单击界面右上角“创建清洗任务”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
