检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
窗口不会产生状态过大的问题。可以提供一个合适的状态 time-to-live (TTL) 配置来防止状态过大。注意:这可能会影响查询结果的正确性。 更多介绍和使用请参考开源社区文档:分组聚合。 DISTINCT 聚合 DISTINCT 聚合在聚合函数前去掉重复的数据。下面的示例计算 Orders 表中不同 order_ids
子句包含窗口表值函数或窗口聚合产生的 window_start 和 window_end。 否则优化器无法翻译。 更多介绍和使用请参考开源社区文档:窗口Top-N。 语法格式 SELECT [column_list] FROM ( SELECT [column_list],
SHOW_FS_PATH_DETAIL 命令功能 查看指定的FS路径的统计数据 命令格式 call show_fs_path_detail(path=>'[path]', is_sub=>'[is_sub]', sort=>'[sort]'); 参数描述 表1 参数描述 参数 描述
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理,通常该问题出现时F
UPDATE_BEFORE 和 UDPATE_AFTER 编码为 DELETE 和 INSERT Maxwell 消息。 更多具体使用可参考开源社区文档:Maxwell Format。 支持的Connector Kafka Filesystem 注意事项 Maxwell应用允许将每个变
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Canal 消息。 更多具体使用可参考开源社区文档:Canal Format。 支持的Connector Kafka Filesystem 参数说明 表1 参数说明 参数 是否必选 默认值
window_end 等值条件。窗口关联支持 INNER/LEFT/RIGHT/FULL OUTER/ANTI/SEMI JOIN。 更多介绍和使用请参考开源社区文档:窗口关联。 注意事项 窗口关联需要在 join on 条件中包含两个输入表的 window_start 等值条件和 window_end
表上的聚合不同,窗口聚合不产生中间结果,只在窗口结束产生一个总的聚合结果,另外,窗口聚合会清除不需要的中间状态。 更多介绍和使用请参考开源社区文档:窗口聚合。 分组窗口的开始和结束时间戳可以通过 window_start 和 window_end 来选定。 窗口表值函数 Flink
sql_containing_cte_name 格式 无。 说明 包含了cte_name定义的公共表达式的SQL语句。 父主题: 标示符
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Debezium 消息。 更多具体使用可参考开源社区文档:Debezium Format。 支持的Connector Kafka Filesystem 注意事项 重复的变更事件 在正常的操作环境下,Debezium
搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务的更多信息,请参见《云搜索服务用户指南》。 更多具体使用可参考开源社区文档:Elasticsearch SQL 连接器。 表1 支持类别 类别 详情 支持表类型 结果表 支持数据格式 JSON 前提条件 请务
Flink Jar作业运行报错,报错信息为Authentication failed 问题现象 Flink Jar作业运行异常,作业日志中有如下报错信息: org.apache.flink.shaded.curator.org.apache.curator.ConnectionState
DLI不支持下载功能,如果需要更新已上传的数据文件,可以将本地文件更新后重新上传。 由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。 为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt
CLEANING 命令功能 对Hudi表进行cleaning操作,具体作用可以参考Hudi Clean操作说明章节。 命令格式 call run_clean(table=>'[table]', clean_policy=>'[clean_policy]', retain_comm
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误 问题现象 在DLI上提交Flink SQL作业,作业运行失败,在作业日志中有如下报错信息:
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。
使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误 问题现象 在CDM迁移数据到DLI,迁移作业提交后,在CDM作业迁移日志中查看作业执行失败,具体日志有如下报错信息: org.apache
DIS结果表 功能描述 DLI将Flink作业的输出数据写入数据接入服务(DIS)中。适用于将数据过滤后导入DIS通道,进行后续处理的场景。 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外
IP Address函数 contains(network, address) → boolean 当CIDR网络中包含address时返回true。 SELECT contains('10.0.0.0/8', IPADDRESS '10.255.255.255'); -- true