检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 在默认格式中，context和target是键值对。示例如下： {"context": "你好，请介绍自己", "target":
//视频文件扩展名。 // 标注 34.5, 42.4 分别表示起始时间和结束时间，单位为s。 // label 表示分类，必须是classes列表中的一个元素，表示该视频片段对应的事件或动作类型。 'annotations':
盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据
"target":"当然可以，基于你的兴趣，我推荐你阅读《自动驾驶的未来》。"}] 单个文件大小不超过50GB，文件数量最多1000个。 问答排序 jsonl、csv jsonl格式：context表示问题，targets答案1、2、3表示答案的优劣顺序，最好的答案排在最前面。 { "context":"context内容"
通过把图片结构化处理后，过滤重复的图片/图文对数据。 数据打标 图片鉴黄评分 对图片的涉黄程度进行评分，分数越高越危险。默认评分不小于50分的视频可视为涉黄视频。 数据转换 图文异常字符过滤 将文本数据中携带的异常字符替换为空值，数据条目不变。 不可见字符，例如U+0000-U+001F 表情符六 网页标签符号<p>
量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类清洗算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题： 数据集清洗算子介绍
本节介绍盘古大模型服务在使用过程中的约束和限制。 规格限制 盘古大模型服务的规格限制详见表1。 表1 规格限制 资产、资源类型 规格 说明 模型资产、数据资源、训练资源、推理资源 所有按需计费、包年/包月中的模型资产、数据资源、训练资源、推理资源。 购买的所有类型的资产与资源仅支持在西南-贵阳一区域使用。
预测结果与真实结果之间差距的指标。该值越小，表示模型在高空（深海）变量的预测精度越高。 表面Loss（海表Loss） 表面Loss（海表Loss）是衡量模型在表面层次变量或在海表变量预测结果与真实结果之间差距的指标。该值越小，表示模型在表面（海表）变量的预测精度越高。 RMSE
真实值和预测值在图表中的对比情况。 准确率 模型预测结果中，所有预测正确的样本占总样本的比例。数值越高，模型效果越好。 精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确
成高质量的训练数据。 平台支持视频类数据集的清洗操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。 表1 视频类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 镜头拆分 根据视频中的镜头场景变化将长视频拆分为短视频片段，如果某个镜头片段的长度超过
全球中期天气要素预测模型的训练类型选择建议： 全球中期天气要素预测模型的训练支持预训练、微调两种操作，如果直接使用平台预置的中期天气要素预测模型不满足您的使用要求时，可以进行预训练或微调。预训练、微调操作的适用场景如下： 预训练：训练用于添加新的高空层次、高空变量或表面变量。如果您需要
查看NLP大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 初始化 模型训
合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
obs file failed. 请检查网络是否正常，是否可以访问OBS桶中的数据。 数据评估 annotate type is invalid. 请检查上传的数据中，使用的数据标注类型、数据标注要求与平台要求的是否一致。 annotate data not exist. 待评测数据
合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
高，表明模型性能越好。 精准率 精准率是指在模型预测为正类的样本中，真正类样本的比例。数值越高，表明模型在检测正类样本时的准确性越高。 召回率 召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。数值越高，表明模型在检测正类样本时的全面性越高。 获取训练日志 单击训练
数据量足够，为什么盘古大模型微调效果仍然不好 这种情况可能是由于以下原因导致的，建议您排查： 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差，都将影响模型训练的效果，建议提升您的数据质量。 父主题： 大模型微调训练类问题
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、
提示词工程 在“撰写”页面，选择左侧导航栏中的“候选”。在候选列表中，勾选需要进行横向比对的提示词，并单击“横向比较”。 图2 横向比较 进入到横向比较页面，下拉页面至“提示词效果比较”模块，比较提示词的效果，输入相同的变量值，查看两个提示词生成的结果。 图3 横向比对提示词效果 父主题：
在工程任务列表页面，找到所需要操作的工程任务，单击该工程任务右侧“撰写”。 在“撰写”页面，选择左侧导航栏中的“候选”。在候选列表中，勾选需要进行横向比对的提示词，并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
