检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Canal 消息。 更多具体使用可参考开源社区文档:Canal Format。 支持的Connector Kafka Filesystem 参数说明 表1 参数说明 参数 是否必选
Print 功能描述 Print connector用于将用户输出的数据打印到taskmanager中的error文件或者out文件中,方便用户查看,主要用于代码调试,查看输出结果。 前提条件 无。 注意事项 Print结果表支持以下四种格式内容输出: 打印内容 条件1 条件2 标识符:任务
window_end 等值条件。窗口关联支持 INNER/LEFT/RIGHT/FULL OUTER/ANTI/SEMI JOIN。 更多介绍和使用请参考开源社区文档:窗口关联。 注意事项 窗口关联需要在 join on 条件中包含两个输入表的 window_start 等值条件和 window_end
连续表上的聚合不同,窗口聚合不产生中间结果,只在窗口结束产生一个总的聚合结果,另外,窗口聚合会清除不需要的中间状态。 更多介绍和使用请参考开源社区文档:窗口聚合。 分组窗口的开始和结束时间戳可以通过 window_start 和 window_end 来选定。 窗口表值函数 Flink
ClickHouse结果表 功能描述 DLI将Flink作业数据输出到ClickHouse中。 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。
ClickHouse 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中,表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级
short, int, bigint, long, decimal, float, double, date, timestamp等hive开源支持的类型。 支持指定多个分区字段,分区字段只需在PARTITIONED BY关键字后指定,不能像普通字段一样在表名后指定,否则将出错。 单表分区数最多允许200000个。
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Debezium 消息。 更多具体使用可参考开源社区文档:Debezium Format。 支持的Connector Kafka Filesystem 注意事项 重复的变更事件 在正常的操作环境下,Debezium
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型
DLI不支持下载功能,如果需要更新已上传的数据文件,可以将本地文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。 为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者S
志分析、站内搜索等场景。 云搜索服务(Cloud Search Service,简称CSS)为DLI提供托管的分布式搜索引擎服务,完全兼容开源Elasticsearch搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务的更多信息,请参见《云搜索服务用户指南》
short, int, bigint, long, decimal, float, double, date, timestamp等hive开源支持的类型。 支持指定多个分区字段,分区字段只需在PARTITIONED BY关键字后指定,不能像普通字段一样在表名后指定,否则将出错。 单表分区数最多允许200000个。
Jar作业时,需要将二次开发的应用代码构建为Jar包,上传到已经创建的OBS桶中。 由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sb
sum sum函数用于计算求和。 命令格式 sum(col), sum(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 列值可以为DOUBLE、DECIMAL或BIGINT类型。
avg avg函数用于计算求平均值。 命令格式 avg(col), avg(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 所有数据类型 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE类型的值。
SQL 标准,在支持基于窗口的复杂计算上也更强大。例如:窗口 TopN、窗口 Join。而分组窗口函数只支持窗口聚合。 更多介绍和使用请参考开源社区文档:窗口函数。 窗口函数简介 Apache Flink 提供3个内置的窗口表值函数:TUMBLE,HOP 和 CUMULATE。 窗
covar_pop covar_pop函数用于返回两列数值协方差。 命令格式 covar_pop(col1, col2) 参数说明 表1 参数说明 参数 是否必选 说明 col1 是 数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。
covar_samp covar_samp函数用于返回两列数值样本协方差。 命令格式 covar_samp(col1, col2) 参数说明 表1 参数说明 参数 是否必选 说明 col1 是 数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。
stddev_pop stddev_pop函数用于返回指定列的偏差。 命令格式 stddev_pop(col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)的偏差。命令示例如下:
stddev_samp stddev_samp函数用于返回指定列的样本偏差。 命令格式 stddev_samp(col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算