检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库相比数据库,主要有以下两个特点: 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的,数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来,进行加工与集成,按照主题进行重组,最终进入数据仓库。
数据仓库 表1 数据仓库权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse
数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题: API
数据仓库自定义属性 获取数据仓库自定义属性列表 父主题: API
数据仓库自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/warehouses
父主题: 数据仓库
父主题: 数据仓库
父主题: 数据仓库自定义属性
{ "name" : "数据集-数据仓库", "description" : "测试数据集-数据仓库", "label_format" : "OCTOPUS", "data_type" : "IMAGE", "dataset_form" : "DATASET
(数据集来源为数据仓库时必填) custom_image 否 String 自定义镜像名称,形如"自定义镜像id:自定义镜像版本号" command 否 String 脚本路徑 agreement_confirm 是 Boolean 隐私声明同意 tags 否 Array of strings
String 源数据集id label_format 否 String 按标注格式筛选 枚举值: OCTOPUS(OCTOPUS格式) USER_DEFINE(自定义格式) data_source 否 String 枚举值: LABEL(标注任务) LOCAL(本地) OBS HOUSE(数据仓库
权限和授权项 权限及授权项说明 镜像仓库 镜像版本 数据集 数据集版本 数据仓库 数据仓库自定义属性 集群信息管理 数据总览 数据包 数据导入 数据回放 作业管理 算子管理 作业队列 内部作业 数据场景 标签管理 仿真场景 场景地图
表2 作业异常提示信息和处理方法 数据作业异常提示信息 处理方法 输入文件不存在 请检查输入数据是否存在 创建容器配置失败 请尝试重启作业 镜像拉取失败 请检查镜像是否已上传 无效镜像 请检查镜像是否正确 容器启动异常 请尝试重启作业 创建容器失败 请尝试重启作业 未选择数据仓库
id时,本结构体配置数据仓库输入数据筛选条件 warehouse_id 否 String 输出到数据仓库的id。
修订记录 发布日期 修订记录 2023-1-31 新增镜像仓库、镜像版本、数据集、数据集版本、数据仓库、数据仓库自定义属性、集群信息管理、数据总览、数据包、数据导入、数据回放、作业管理、算子管理、作业队列、内部作业、数据场景、标签管理相关操作接口。
数据仓库 包括获取数据仓库列表信息和获取数据仓库的数据列表的接口。 数据仓库自定义属性 包括获取数据仓库自定义属性列表的接口。 集群信息管理 包括查询可用资源规格的接口。 数据总览 包括获取数据服务总览和获取轨迹统计的接口。
DATASET(数据集) SUBSET(子集) source_dataset_id String 子集的源数据集ID latest_version Integer 最新版本 data_source String 数据来源 枚举值: LABEL(标注) LOCAL(本地) OBS HOUSE(数据仓库
API 镜像仓库 镜像版本 数据集 数据集版本 数据仓库 数据仓库自定义属性 资源池信息管理 数据总览 数据包 数据导入 数据回放 作业管理 算子管理 作业队列 内部作业 数据场景 标签管理 仿真场景 场景地图
ID warehouse_filters WarehouseDataFilters object 数据仓库筛选参数 envs Array of JobEnv objects 环境变量 表6 WarehouseDataFilters 参数 参数类型 描述 start_time Long
所挂路径不同, 示例: 本地:/tmp/dataset-temp/local_import/6f91947c-cd47-434b-b654-8332da961d7a/f7c9a054-3c9e-49c7-8934-a1e1d668eb12/ 标注:/tmp/label-data/ 数据仓库
String 场景描述 最大长度:255 priority 否 Integer 作业优先级 最小值:-50 最大值:50 缺省值:40 tag_ids 否 Array of longs 标签列表,最多50个 data_warehouse_id 否 String 作业输出若需保存到数据仓库