检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
阅和下载该数据集。 在以下情况下,需要执行本章节。 在发布数据集时,未将秘密及以上密级的数据集授权给某些特定的租户或用户,但这些特定租户或用户需要使用该数据集。 在发布数据集时,已将秘密及以上密级的数据集授权给某些特定的租户或用户,但需要修改或删除租户或用户使用该数据集。 前提条件
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外,平台还支持导入其他类数据集,即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作,不支持数据加工操作。 其他类数据集要求单个文件大小不超过50GB,单个压缩包大小不超过50GB,文件数量最多1000个。
根据数据集ID获取数据集分类信息 功能介绍 根据数据集ID查询数据集分类信息。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/dataType/{datasetId}} 参数说明 参数名 是否必选 参数类型 备注 datasetId
根据数据集ID查询数据集的详细内容 功能介绍 根据数据集ID查询数据集相关的详细内容。 URI URI格式 GET /softcomai/datalake/v1.0/catalogs/api/dataset/{datasetId} 参数说明 参数名 是否必选 参数类型 备注 datasetId
片类数据集发布为两种格式: 默认格式:适用于广泛的数据使用场景,满足大多数模型训练的标准需求。 盘古格式:专为盘古大模型训练设计的格式,确保数据集在盘古模型训练中的兼容性和一致性。 除文本类、图片类数据集外,其余类型的数据集当前仅支持发布为默认格式。 父主题: 发布数据集
JSON 返回体。 page JSON 分页信息。 dataList JSON 数据集列表。 id String 数据集ID。 name String 数据集名称。 businessName String 数据集名称。 scheme String 模式,暂无用。 url String
可视化创建数据集 数据集作为数据源和可视化展示的中间环节,是可视化分析的基础,您可以将需要分析的数据表创建为数据集,DataArts Insight支持可视化配置或自定义SQL方式创建数据集。本文为您介绍如何通过可视化的方式创建数据集。 前提条件 已创建项目,请参见创建项目。 已接入数据源,请参见新建数据源。
查看数据集发布申请 前提条件 登录用户为具有“Data Operation Engineer”角色的用户。 操作步骤 成功发布数据集,系统自动跳转至“个人中心>数据集管理>我的申请”界面,可以查看当前用户所有申请信息。 查看数据集发布申请信息,例如,当前审批人和审批结果等。 单击
查看数据集订阅申请 在数据服务左侧导航,选择“个人中心>数据集管理>我的申请”界面,可以查看当前用户所有申请信息。 查看数据集订阅申请信息,例如,当前审批人和审批结果等。 单击“数据集名称”列下的数据集的名称,可以查看数据集详情,请参见数据集详情介绍。 单击“操作”列下的“详情”,可以查看订阅申请详情。
审批数据集订阅申请 秘密、机密或绝密的数据集订阅申请提交成功后,需要分别由配置数据集订阅申请的审批人中已配置的一级审批人和二级审批人审批。 本章节以秘密的数据集为例介绍审批数据集订阅申请的方法。 前提条件 登录用户必须为配置数据集订阅申请的审批人中已配置的一级审批人和二级审批人。
根据数据集的entitiesId获取数据集的特征信息 功能介绍 管理侧根据数据集entitiesId获取数据集的特征信息。 URI URI格式 POST /softcomai/datalake/v1.0/originDataModels/{entitiesId}/entitysattr
在左侧导航栏中,选择“已订阅数据集”。 在“已订阅数据集”界面上待下载的数据集对应的“操作”列,单击“我要下载”。 数据集服务支持下载单个数据集,也支持选中待下载的多个数据集左侧的复选框,然后单击“批量下载”对多个数据集同时进行下载。 数据集服务支持在数据集订阅到期时间之前多次下载该数据集到OBS桶。
查看数据集删除申请 前提条件 登录用户为具有“Data Operation Engineer”角色的用户。 操作步骤 在数据服务左侧导航,选择“个人中心>数据集管理>我的申请”界面,可以查看当前用户所有申请信息。 查看数据集删除申请信息,例如,当前审批人和审批结果等。 单击“操作
订阅数据集 立即订阅数据集 申请订阅数据集 查看数据集订阅申请 审批数据集订阅申请 父主题: 消费数据集
发布数据集 申请发布数据集 查看数据集发布申请 审批数据集发布申请 父主题: 管理数据集
下架数据集 功能介绍 对请求中的数据集进行申请下架操作,申请发布后会提交到审批模块由Data Owner进行审批,审批通过后自动启动下架流程,将数据集从数据集服务下架,下架后的数据集将不能在数据集服务中查看到,且不能提供给消费侧订阅使用。 URI URI格式 DELETE /softcomai/datalake/v1
内置属性:三元组关系标签的指向实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 响应参数 状态码: 200 表7 响应Body参数 参数 参数类型 描述 dataset_id String 数据集ID。 请求示例 更新数据集 { "description" : "just a
数据集清洗算子介绍 文本类清洗算子能力清单 视频类清洗算子能力清单 图片类清洗算子能力清单 气象类清洗算子能力清单 父主题: 加工数据集
配置数据集授权(可选) 外部公开的数据集不需要授权,该数据集发布成功后所有用户都可以查看和订阅该数据集并下载到OBS桶。 秘密、机密或绝密的数据集需要在发布时或发布成功后配置授权给数据消费者,否则,数据消费者无权限查看和订阅该数据集并下载到OBS桶,发布该数据集所在租户下的数据管
评论:详细信息及操作请参见评论数据集。 设置:详细信息请参见设置数据集的信息及可视范围,详细操作请参考修改数据集(新)。 数据集上架:将数据集上架到AI市场,详细信息及操作请参考数据集上架。 批量订阅/我要订阅:订阅该数据集,详细操作请参见立即订阅数据集或申请订阅数据集。 应用数据集:可以进行数据