检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
返回长度为零的空子字符串。 如果target未包含指定分隔符,则返回目标字符串。 separator VARCHAR 指定的分隔符,当前仅支持单字符分隔。 示例 参考Kafka和Print创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意
如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 DLI支持以下两类标签: 资源标签:在DLI中创建的非全局的标签。 预定义标签:在标签管理服务(简称TMS)中创建的预定义标签,属于全局标签。 有关
则本参数为默认的“public”。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。
延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项 若使用insert语句将结果写入sink中,则sink需要支持upsert模式,所以结果表需要支持upsert操作,且定义主键。 延迟时间设置仅用于事件时间,在处理时间中不生效。 辅助函数必须使用与 GROUP BY
迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项 如果使用insert语句将结果写入sink中,则sink需要支持upsert模式,所以结果表需要支持upsert操作,且定义主键。 延迟时间设置仅用于事件时间,在处理时间中不生效。 辅助函数必须使用与 GROUP BY
SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项: dli.sql.join.preferSortMergeJoin(是否优先使用SortMergeJoin) dli.sql.a
字,且不能以下划线开头。 conf 否 Array of Strings 用户以“key/value”的形式设置用于此作业的配置参数。目前支持的配置项请参考表3。 tags 否 Array of Objects 作业的标签。具体请参考表4。 engine_type 否 String
$表示根节点。 .表示子节点。 []表示[number]表示数组下标,从0开始。 *表示Wildcard for [],返回整个数组。*不支持转义。 返回值说明 返回STRING类型的值。 如果json为空或非法的json格式,返回NULL。 如果json合法,path也存在,则返回对应字符串。
y,z); 过滤filter 使用filter关键字可以在聚合的过程中,通过使用where的条件表达式来过滤掉不需要的行。所有的聚合函数都支持这个功能。 aggregate_function(...) FILTER (WHERE <condition>) 示例: --建表 create
更多介绍和使用请参考开源社区文档:窗口聚合。 分组窗口的开始和结束时间戳可以通过 window_start 和 window_end 来选定。 窗口表值函数 Flink 支持在 TUMBLE, HOP 和 CUMULATE 上进行窗口聚合。 在流模式下,窗口表值函数的时间属性字段必须是事件时间或处理时间。关于窗口函数更多信息,参见
user_conf String SQL查询的相关列信息的Json字符串。 result_format String 作业结果的存储格式,当前只支持csv。 result_path String 作业结果的OBS路径。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是
已有文件。 data_path 是 String 导入或导出的文件路径。 data_type 是 String 导入或导出的数据类型(当前支持csv和json格式)。 database_name 是 String 导入或导出表所属的数据库名称。 table_name 是 String
批处理作业所属用户。 proxyUser 否 String 批处理作业所属代理用户(资源租户)。 kind 否 String 批处理作业类型,只支持spark类型参数。 queue 否 String 批处理作业所在队列。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。
Integer 每页显示的返回信息的个数,默认值为100。 offset 否 Integer 偏移量。 filter 否 String 筛选条件,目前只支持“=”条件筛选,例如:name=name1,表示筛选出分区中name=name1的数据,name为分区列名称,name1为分区列的值。key和value不区分大小写。
Format 允许我们基于CSV schema 进行解析和生成CSV 数据。目前的CSV schema 是基于table schema 推导出来的。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none)
SETS ((origin_state,origin_zip ),( origin_state ),()); Group by 子句目前不支持使用列的别名,例如: select count(userid) as num ,dept as aaa from salary group
tables.tb2.columns.column1。 privileges 是 Array of Strings 待赋权,回收或更新的权限列表。具体支持的权限列表详细可以参考数据权限列表。示例值:["SELECT"]。 说明: 若“action”为“update”,更新列表为空,则表示回收用户在该数据库或表的所有权限。
“partitionColumn”、“lowerBound”、“upperBound”、“numPartitions”四个参数必须同时设置,不支持仅设置其中某一个或某几个。 为了提升并发读取的性能,建议使用自增列。 lowerBound partitionColumn设置的字段数据最小值,该值包含在返回结果中。
/opt/livy/conf/spark-defaults.conf 添加如下必选参数内容。配置项参数填写说明,详见表1。 # 以下参数均支持在提交作业时覆盖。 spark.yarn.isPython=true spark.pyspark.python=python3 # 当前参数值为生产环境web地址
create_time 是 Long 表创建时间。是单位为“毫秒”的时间戳。 data_type 否 String 所列OBS表数据的类型,目前支持:parquet、ORC、CSV、JSON、Avro格式。 说明: 只有OBS表有该参数。 data_location 是 String 数据存储位置,分为DLI和OBS。