检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。
表13 度量属性 序号 字段名称 字段英文名称 数据类型 主键 分区 不为空 关联数据标准 6 上车地点 pu_location_id 字符类型(STRING) 不勾选 不勾选 不勾选 - 7 下车地点 do_location_id 字符类型(STRING) 不勾选 不勾选 不勾选
fromJobConfig.pathFilter 否 String 路径过滤器,过滤类型为通配符时配置,用于过滤文件目录,例如:“*input”。
fromJobConfig.formats参数说明 参数 是否必选 类型 说明 name 是 String 列号,例如:“1”。 value 是 String 时间格式,例如:“yyyy-MM-dd”。 父主题: 源端作业参数说明
表5 CdmClusterVersion 参数 参数类型 描述 active String 版本状态。 id String 版本ID。 image String 版本镜像。 name String 版本名称。 packages String 版本的包。
丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。
枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。 name_en String 英文名。
X-Auth-Token 是 String IAM Token 最小长度:0 最大长度:4096 Content-Type 是 String 发送的实体的MIME类型。 表2 Body参数说明 参数名 是否必选 参数类型 说明 name 是 String 补数据任务的名称。
version={version} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 script_name 是 String 脚本名称。
响应参数 表4 参数说明 参数名 是否必选 参数类型 说明 data 是 array[object] 发布包信息,参考表5。 total 是 Integer 发布包个数。
fromJobConfig.fileFilter 否 String 文件过滤器,过滤类型为通配符时配置,用于过滤目录下的文件,支持配置多个文件,中间使用“,”分隔,例如:“*.csv,*.txt”。
表2 Query参数 参数 是否必选 参数类型 描述 table_type 是 String 表类型,默认值是业务表。
type 是 String 资源类型,包含: archive file jar location 是 String 资源文件所在OBS路径,当类型为jar时,location为主Jar包所在路径。最多1023个字符。
表4 审批人属性说明 参数名 是否必选 参数类型 说明 approverName 是 String 审批人名称。
请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。
表4 JobParam数据结构说明 参数名 是否必选 参数类型 说明 name 是 String 参数名称,长度不能超过64个字符。 value 是 String 参数值,长度不能超过1024个字符。 paramType 否 String 参数类型。
fromJobConfig.formats参数说明 参数 是否必选 类型 说明 name 是 String 列号,例如:“1”。 value 是 String 时间格式,例如:“yyyy-MM-dd”。 父主题: 源端作业参数说明
表4 SubTask参数说明 参数名 是否必选 参数类型 说明 id 是 String 子任务ID。 name 是 String 子任务名称。 lastUpdate 是 Long 更新时间。
表4 nodes字段数据结构说明 参数名 是否必选 参数类型 说明 name 是 String 节点名称。
type 是 String 连接类型,包含: DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。