检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取质量报告评分体系 功能介绍 获取质量报告评分体系。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/report/scoring 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
连接方式应该选择API连接还是代理连接? API连接仅支持在数据开发组件使用。 因此如无特殊需求,为保证数据架构、数据质量、数据目录、数据服务等组件能够使用连接,推荐配置为“通过代理连接”。 父主题: 管理中心
名,还需确认订阅的状态是“已确认”。 SMN通道异常。可通过在SMN界面中给自己的主题直接发送消息,判断能否收到SMN的通知。 父主题: 数据开发
月的作业,不支持建立依赖关系。 解决方案 如果这2个作业是周依赖周或者月依赖月的作业,可以把这2个作业放到同一个画布中再运行。 父主题: 数据开发
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
Dummy节点(空节点,不处理实际的业务数据),在Dummy节点与后续执行任务的节点的连线上,您可以配置条件表达式,判断当前是否为每个月的最后一天。如果是最后一天,则执行后续节点,否则跳过后续节点。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 任务配置为天调度,如下图:
取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
支持从DLI导出数据。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表2 参数说明 参数名 是否必选 参数类型 说明 total 是 Integer 作业数量。 jobs 是 List<Job> 作业列表,参考表3。 表3 Job数据结构说明 参数名 是否必选
离散小时调度与作业最近依赖调度逻辑 数据开发当前支持两种调度依赖策略:传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖的详细信息请参见传统周期调度。 自然周期调度依赖的详细信息请参见自然周期调度。 随着用户业务的演进,自然周期调度中,增加了许多新的调度规则,如离散小时调度,
下降,因此链路速度过慢请优先排查目的端写入速度,在排除目的端因素后再排查上游。 目的端写入慢 检查目的端负载是否已达到目的端数据源上限。优先查看目的端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。 在排除目的端负载的情况下,加大作业并发,以提高写入速度。 如果
表4 Result数据结构说明 参数名 是否必选 参数类型 说明 message 否 Object 结构返回信息。 schema 否 List<Map<String, String>> 元数据信息。 rows 否 List<List<Object>> 返回结果数据。 rowCount
没有生成新作业实例。 解决方案 配置作业失败异常告警通知,以及实例超时时间,当等待时间超过实例超时时间,系统将发送告警通知。 父主题: 数据开发
format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 数据集成(CDM作业)
获取任务执行结果列表 功能介绍 获取任务执行结果列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
Object 返回的数据信息。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码: 401
中计划时间是作业预期开始执行的时间,即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为在数据开发中,单个作业最多允许5个实例并行执行,如果作业实际执行时间大于作业配置的调度周期,会导致后面批次的作业实例堆积,从而出现上述问题。 解决方案
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 total 是 int 总记录数 instances
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下: