检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标注数据集 数据集标注场景介绍 标注文本类数据集 标注视频类数据集 标注图片类数据集 父主题： 使用数据工程准备与处理数据集
数据集格式要求 文本类数据集格式要求 视频类数据集格式要求 图片类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程准备与处理数据集
动操作，提高数据处理的效率。 满足业务需求：不同类型的数据需要不同的处理方式，平台根据文本、图片、视频、气象等数据类型提供专门的加工工具，满足各种复杂的业务需求。 增强模型性能：通过合适的数据加工，可以提高数据的可用性，进而提升模型的训练效果，使其具备更高的精度和鲁棒性。 总体而
高质量数据是推动大模型不断迭代和优化的根基，它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据，才能提取出有价值的信息，从而更好地支持模型训练。因此，数据的采集、清洗、标注、评估、发布等环节，成为数据开发中不可或缺的重要步骤。 在ModelArts
根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。
bject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型，参数值为“application/json”。 表2 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 推理作业的名称。 input 是 TaskInputDto
以通过智能客服处理大部分的常规问题，将人工客服释放出来处理更复杂、更个性化的客户需求；个性化服务：基于大模型的智能客服能够学习和适应用户的行为模式和偏好，提供更加个性化的服务。 农业 科学计算大模型包括全球中期天气要素模型和降水模型，可以对未来一段时间的天气和降水进行预测，全球中
态。 图1 查看提示词评任务状态 单击“评估名称”，进入评估任务详情页，可以查看详细的评估进度，例如在图2中有10条评估用例，当前已评估8条，剩余2条待评估。 图2 查看评估进展 评估完成后，可以查看每条数据的评估结果。 在评估结果中，“预期结果”表示变量值（问题）所预设的期望回
等服务，便捷地构建自己的模型和应用 数据工程工具链：数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分，具备数据获取、清洗、配比和管理等功能，确保数据的高质量与一致性。工具链能够高效收集并处理各种格式的数据，满足不同训练任务的需求，并提供强大的数据存储和管理能力，为大模型训练提供坚实的数据支持。
根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。
华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华
灵活的工作流设计：平台提供灵活的工作流设计，用于开发者处理逻辑复杂、且有较高稳定性要求的任务流。 支持“零码”和“低码”开发者通过“拖拉拽”的方式快速搭建一个工作流，创建一个应用。 全链路信息调测评估：平台提供对Agent执行过程的全链路信息观测与调试调优，通过对信息的分层分析
如果您需要为企业员工设置不同的访问权限，以实现功能使用权限和资产的权限隔离，可以为不同员工配置相应的角色，以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户（子用户）进行权限管理，您可以跳过本章节，不影响您使用盘古的其他功能。 您可以使用统
Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”，单击界面右上角“创建评估任务”。 图2 创建评估任务 在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击
在“创建加工数据集”页面，选择需要加工的视频类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于视频类数据集，可选择的加工算子及参数配置请参见表1。
Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注管理”，单击页面右上角“创建标注任务”。 图2 标注管理 在“创建标注任务”页面选择需要标注的加工后的文本类数据集，并设置标注项。 设置标注项时，不同类型的数据文件对应的标注项也有所差异，可基于页面提示进行设置。
数据加工 在“创建加工数据集”页面，选择需要加工的文本类数据集，并设置数据集的名称和描述。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于文本类数据集，可选择预置加工算子，请参见文本类加工算子能力清单。
任务移交给其他人员，可以单击操作列“移交”设置移交人员以及移交的数量。 图5 标注作业 图6 移交标注任务 进入标注页面后，逐一对数据进行标注。 以标注视频Caption数据为例，需要逐一标注视频的质量，如图7。 图7 视频类数据集标注示例 一条数据标注完成后，单击“提交”可继续
Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”，单击界面右上角“创建评估任务”。 图2 创建评估任务 在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击
在“创建加工数据集”页面，选择需要加工的气象类数据集，并设置数据集的名称和描述信息。 选择数据集时，默认选择当前空间的数据集。如果用户具备其他空间的访问权限，可以选择来自其他空间的数据集。 图3 创建加工数据集 单击“下一步”进入“算子编排”页面。对于气象类数据集，可选择的加工算子及参数配置请参见表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
