检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程中，可以单击右上角“保存为新模板”将当前算子编排流程保存为模板，后续创建新的数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。
在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程中，可以单击右上角“保存为新模板”将当前算子编排流程保存为模板，后续创建新的数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。
Studio大模型开发平台提供了详细的质量评估报告，帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”。 单击操作列“报告”可以查看详细的质量评估报告。
存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto
Studio大模型开发平台提供了详细的质量评估报告，帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”。 单击操作列“报告”可以查看详细的质量评估报告。
过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母，文本长度均计数为1。 图文文本语言过滤 通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值，如果超过则去重。
> 标注管理”，单击页面右上角“创建标注任务”。 图2 标注管理 在“创建标注任务”页面选择需要标注的加工后的文本类数据集，并设置标注项。 设置标注项时，不同类型的数据文件对应的标注项也有所差异，可基于页面提示进行设置。 图3 创建标注任务 单击“下一步”设置标注人员及信息，单击“完成创建”。
如果需要将该审核任务移交给其他人员，可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后，可通过单击“通过”或“不通过”逐一对数据进行审核，直至所有数据审核完成，期间可对不满足要求的数据进行驳回，驳回后将分给标注人员重新标注。 父主题： 标注文本类数据集
如果需要将该审核任务移交给其他人员，可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后，可通过单击“通过”或“不通过”逐一对数据进行审核，直至所有数据审核完成，期间可对不满足要求的数据进行驳回，驳回后将分给标注人员重新标注。 父主题： 标注视频类数据集
String 存储类型，取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String
评估任务”，单击界面右上角“创建评估任务”。 图2 创建评估任务 在“数据集选择”页签选择需要进行评估的加工数据集，并设置抽样规格，即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击“下一步”选择需要使用的评估标准。标准选择完成后，单击“下一步”设置评估人员。 图4 选择评估标注 图5 选择评估人员
ModelArts Studio大模型开发平台针对图片数据集预设的一套评估标准，涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建图片类数据集评估任务。 创建图片类数据集评估标准步骤如下：
在右侧“加工步骤编排”页面配置各算子的参数，可通过右侧按钮，拖拽算子的上下顺序来调整算子在加工任务流中的执行顺序。 算子编排过程中，可以单击右上角“保存为新模板”将当前算子编排流程保存为模板，后续创建新的数据加工任务时，可以直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。
Studio大模型开发平台提供了详细的质量评估报告，帮助用户全面了解数据集的质量情况。获取数据集评估报告步骤如下： 登录ModelArts Studio大模型开发平台，进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”。 单击操作列“报告”可以查看详细的质量评估报告。
存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。 表5 TaskOutputDto
的人员。 对于使用AI进行预标注的图片Caption任务可设置以下两种方式的“标注要求”： 选择“全部标注”：要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”：允许标注人员在确认AI预标注满足要求后，直接使用AI预标注功能完成数据集的标注并提交标注结果。
如果需要将该审核任务移交给其他人员，可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务 进入审核页面后，可通过单击“通过”或“不通过”逐一对数据进行审核，直至所有数据审核完成，期间可对不满足要求的数据进行驳回，驳回后将分给标注人员重新标注。 父主题： 标注图片类数据集
Long 用于选择集合预报的Perlin加噪octave。Perlin噪音的octave指的是噪音的频率，在生成Perlin噪音时，可以将多个不同频率的噪音叠加在一起，以增加噪音的复杂度和细节。每个频率的噪音称为一个octave，而叠加的octave数越多，噪音的复杂度也就越高。 取值范围：[1
模型”中可以查看当前空间和预置的模型资产，如果有多个空间的访问权限，可切换空间查看其他空间内的资产。 在“本空间”页签可查看模型资产，并可对模型进行删除操作。单击模型名称可进入详情页面查看模型的基础信息。 在“预置”页签可查看用户可使用的各类模型的预置资产。 图1 查看预置模型预置模型
构建外，也可能会使用开源的数据集。数据版权功能主要用于记录和管理数据集的版权信息，确保数据的使用合法合规，并清晰地了解数据集的来源和相关的版权授权。通过填写这些信息，可以追溯数据的来源，明确数据使用的限制和许可，从而保护数据版权并避免版权纠纷。 图3 设置数据版权 单击页面右下角
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
