检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cluster_id 否 String 集群id,dli传DLI,dws和mrs-hive传对应的集群id schema_name 否 String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称
是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有defaul
实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作
参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表6 data 参数 参数类型 描述 value CatalogLevelVOList object value,统一的返回结果的外层数据结构。 表7 CatalogLevelVOList 参数
formation API的结果集内的第1行、对应列名为area的字段值。此处配置为如果该值等于“area1”,就执行并行处理分支。 零售商信息RetailerInformation分支的条件类型配置为“不满足其他条件时”,表示如果不满足并行处理分支的条件,则执行零售商信息RetailerInformation分支。
配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍 开发一个Python作业 开发一个DWS SQL作业
于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作
否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
统一权限治理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力,包含如下特性: 集中式访问控制 融合了不同的大数据服务进行统一权限管理,如MRS、DWS、DLI等,给用户带来了统一的权限配置入口,极大的提高了易用性和可维护性。 多级权限配置模型 权限模型
String 写入脏数据的目录: 如果选择写入到HDFS,此参数即为HDFS目录。 如果选择写入到OBS,此参数表示相应的OBS桶下的目录,例如:“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录
参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value ConditionVO object value,统一的返回结果的外层数据结构。 表6 ConditionVO 参数 参数类型 描述 id
终止提交到此队列的作业 删除队列 : 删除此队列 赋权 : 当前用户可将队列的权限赋予其他用户 权限回收 : 当前用户可回收其他用户具备的该队列的权限,但不能回收该队列所有者的权限 查看其他用户具备的权限 : 当前用户可查看其他用户具备的该队列的权限 重启队列 : 重启此队列的权限 规格变更
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值: #{Job
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success,返回data数据是 BatchOpe
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success,返回data数据是 BatchOpe
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 跨空间进行作业调度 使用Python脚本连接MRS安全集群执行Impala
#{StringUtil.split(b,',')[1]} 举例3 当前一节点的输出结果是一个字段时,输出结果如[["000"]]所示。第二个节点引用第一个节点的输出,此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值。 #{StringUtil.split(StringUtil
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success,返回data数据是CodeTableVO详情。