检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建视频类数据集评估标准 ModelArts Studio大模型开发平台针对视频数据集预设了一套评估标准，涵盖了视频的清晰度、帧率、完整性、标签准确性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建视频类数据集评估任务。
创建文本类数据集评估标准 ModelArts Studio大模型开发平台针对文本数据集预设了一套基础评估标准，涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建文本类数据集评估任务。
创建图片类数据集评估标准 ModelArts Studio大模型开发平台针对图片数据集预设的一套评估标准，涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建图片类数据集评估任务。
计费项 盘古大模型分为模型订阅服务、训练服务和推理服务三个收费项。 模型订阅服务按照订阅时长计费，提供3个月与1年两种周期供客户选择，自支付完成开始计费。 数据智算服务、数据通算服务、数据托管服务按服务的单元数量和时长计费，时长精确到秒。 模型训练服务按服务的单元数量和时长计费，时长精确到秒。
在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击“下一步”选择需要使用的评估标准。标准选择完成后，单击“下一步”设置评估人员。 图4 选择评估标注 图5 选择评估人员 评估人员设置完成后，单击“下一步”填写任务名称。单击“
如何调整训练参数，使盘古大模型效果最优 模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响： 目标任务的难度：如果目标任务的难度较低，模型能较容易的学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。
安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
数据发布过程不仅包括将数据转化为适合使用的格式，还要求根据任务需求对数据集的比例进行科学调整，确保数据集在规模、质量和内容上满足模型训练的标准。 通过灵活调整数据集的比例配比，用户能够保证数据的均衡性，避免因数据分布不均可能引发的问题，从而构建高质量、适应性强的数据集，为后续的模型训练、验证和应用提供坚实的数据支持。
数据加工概念 数据加工是数据工程中的核心环节，旨在通过使用数据集加工算子对原始数据进行清洗、转换、提取和过滤等操作，以确保数据符合模型训练的标准和业务需求。 通过这一过程，用户能够优化数据质量，去除噪声和冗余信息，提升数据的准确性和一致性，为后续的模型训练提供更高质量、更有效的输入
平台预置了多种数据类型的基础评估标准，用户可以直接使用这些标准，也可以根据具体的业务需求创建自定义的评估标准。 NLP数据质量标准 V1.0：ModelArts Studio大模型开发平台针对文本数据集预设了一套基础评估标准，涵盖了数据准确性、完整性、一致性、格式规范等多个维度。该标准旨在帮助用户高
在“创建评估任务”页面，选择数据集，设置抽样规格，单击“下一步”。 图14 创建评估任务 根据数据集类型选择评估标准，此处选择“NLP数据质量标准V1.0”，单击“下一步”。 图15 选择评估标准 选择评估人员，单击“下一步”。填写“任务名称”，单击“完成创建”，在数据集操作列单击“评估”。 图16
在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击“下一步”选择需要使用的评估标准。标准选择完成后，单击“下一步”设置评估人员。 图4 选择评估标注 图5 选择评估人员 评估人员设置完成后，单击“下一步”填写任务名称。单击“
评估图片类数据集 创建图片类数据集评估标准 创建图片类数据集评估任务 获取图片类数据集评估报告 父主题： 评估数据集
在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击“下一步”选择需要使用的评估标准。标准选择完成后，单击“下一步”设置评估人员。 图4 选择评估标注 图5 选择评估人员 评估人员设置完成后，单击“下一步”填写任务名称。单击“
对标注后的数据集执行上线操作。 上线标注后的文本类数据集 评估数据集（可选） 创建文本类数据集评估标准 创建数据集评估标准。评估文本通顺性、信息充分性、内容有效性等。 创建文本类数据集评估标准 创建文本类数据集评估任务 创建数据集质量评估任务，基于评估标注对数据逐一评估其质量。 创建文本类数据集评估任务
评估视频类数据集 创建视频类数据集评估标准 创建视频类数据集评估任务 获取视频类数据集评估报告 父主题： 评估数据集
评估文本类数据集 创建文本类数据集评估标准 创建文本类数据集评估任务 获取文本类数据集评估报告 父主题： 评估数据集
业务需求和模型训练的要求。针对不同类型的数据集，平台提供了专用的加工算子，有效提升数据质量并支持大规模数据处理，确保生成的数据集符合训练的标准。 数据标注：对于无标签的数据，平台支持进行标注或重新标注，以提升数据集的标注质量。针对文本和图片类数据集，平台还提供AI预标注功能，利用
中文简繁转换 将简体文本转换为繁体，或将繁体文本转换为简体。 符号标准化 查找数据中携带的非标准化符号进行标准化、统一化转换。 统一空格：将所有Unicode空格（如U+00A0、U+200A）转换为标准空格（U+0020）。 全角转半角：将文本中的全角字符转换为半角字符。
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。 登录ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
