检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 物理模型设计时的考虑事项如下: 物理模型要确
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
CDM还提供了REST API,支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。
创建工作空间 功能介绍 创建工作空间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/workspaces/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
删除模型工作区 功能介绍 删除模型工作区。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/workspaces 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查看API不同操作对应的实例信息(专享版) 功能介绍 查看API不同操作对应的实例信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述
获取任务执行结果列表 功能介绍 获取任务执行结果列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
获取质量作业列表V1 功能介绍 批量查询数据质量作业,返回质量作业列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/quality/rules 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询所有可用区 功能介绍 查询CDM集群的所有可用区。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/regions/{region_id}/availability_zones 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询概要 功能介绍 查询概要。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/asset/profile 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2
查询采集任务列表 功能介绍 查询采集任务列表。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/metadata/tasks/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
删除资源 功能介绍 此接口可以删除指定资源。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 DELETE /v1/{project_id}/resources/{resource_id} 参数说明 表1 URI参数说明 参数名 是否必选
createSnapshot 否 Boolean 如果配置为“true”,CDM读取HDFS系统上的文件时,会先对待迁移的源目录创建快照(不允许对单个文件创建快照),然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照,CDM作业完成后,快照会被删除。 fromJobConfig
511+00:00", "super_type_names" : [ "base.Asset", "base.Infrastructure" ], "business_attributes" : { "businessName" : { "confidence"
02,该业务日期系统会自动传给作业计划时间,脚本时间变量DATE的表达式中,定义的时间为作业计划时间减去一天,即作业计划时间的前一天时间为补数据的时间范围(2023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;
查找衍生指标 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间、l3Id分页查找衍生指标信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/derivative-indexs 表1 路径参数 参数 是否必选 参数类型 描述
查询作业文件 功能介绍 从OBS路径上导入作业前,可以通过此接口查询导入作业文件中是否有作业和脚本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/check-file 参数说明 表1
02,该业务日期系统会自动传给作业计划时间,脚本时间变量DATE的表达式中,定义的时间为作业计划时间减去一天,即作业计划时间的前一天时间为补数据的时间范围(2023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。
导出连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 导出zip压缩包格式的连接文件,包括所有连接的定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v