检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
booleanExpression ] 语法说明 SELECT语句用于从表中选取数据。 ALL表示返回所有结果。 DISTINCT表示返回不重复结果。 注意事项 所查询的表必须是已经存在的表,否则会出错。 WHERE关键字指定查询的过滤条件,过滤条件中支持算术运算符,关系运算符,逻辑运算符。 GROUP
booleanExpression ] 语法说明 SELECT语句用于从表中选取数据。 ALL表示返回所有结果。 DISTINCT表示返回不重复结果。 注意事项 所查询的表必须是已经存在的表,否则会出错。 WHERE关键字指定查询的过滤条件,过滤条件中支持算术运算符,关系运算符,逻辑运算符。 GROUP
BY 之前过滤单独的数据行。HAVING 过滤 GROUP BY 生成的数据行。 HAVING 条件中的每一列引用必须是明确的 grouping 列,除非它出现在聚合函数中。 即使没有 GROUP BY 子句,HAVING 的存在也会使查询变成一个分组查询。这与查询包含聚合函数但没有
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
恢复多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
CDC源表 功能描述 Postgres的CDC源表,即Postgres的流式源表,用于依次读取PostgreSQL数据库全量快照数据和变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。 前提条件 PostgreSQL CDC要求Postgre版本为9
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。
设置为1小时。 脏数据策略 作业出现脏数据时的处理策略。作业配置脏数据策略时显示该参数。 忽略。 抛出异常。 保存。 脏数据转储地址 “脏数据策略”选择“保存”时,保存脏数据的OBS路径。 创建时间 作业创建的具体时间。 更新时间 作业最近一次更新的时间。 查看Flink作业监控
用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突,导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包,用于支持各种数据处理和分析任务。 如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包,则会提示Flink
数据管理维护 Hudi Compaction操作说明 Hudi Clean操作说明 Hudi Archive操作说明 Hudi Clustering操作说明
窗口去重是一种特殊的去重,它根据指定的多个列来删除重复的行,保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,性能较好。通常,窗口去重直接用于窗口表值函数上。
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 示例 已参考示例中描述创建对应的数据库,如testdb。 若存在testdb数据库,则删除数据库testdb。 1 DROP DATABASE IF
orderTime; Limit 功能描述 限制返回的数据结果个数 注意事项 LIMIT 查询需要有一个 ORDER BY 字句 示例 SELECT * FROM Orders ORDER BY orderTime LIMIT 3; 父主题: 数据操作语句DML
rk作业访问其他数据存储服务并导入、查询、分析处理其中的数据,目前支持的DLI跨源访问服务有:表格存储服务CloudTable,云搜索服务CSS,分布式缓存服务DCS,文档数据库服务DDS,数据仓库服务GaussDB(DWS),MapReduce服务MRS,云数据库RDS等。使用DLI的跨源能力,需要先创建跨源连接。
数据操作语句DML SELECT INSERT INTO 集合操作 窗口 分组聚合 Over聚合 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.15语法参考
数据定义语句DDL 创建源表 创建结果表 创建维表 Format 父主题: Flink Opensource SQL1.12语法参考
I进行数据分析。 上传数据至OBS请参考《对象存储用户指南》。 当需要将来自不同源的数据进行集中存储和处理时,迁移数据至DLI可以提供一个统一的数据平台。 您可以参考使用CDM迁移数据至DLI迁移数据至DLI后再提交作业。 如果业务需求需要实时访问和处理来自不同数据源的数据,跨源访问可以减少数据的复制和延迟。
执行SQL作业时产生数据倾斜怎么办? 什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所示,查看到一个
orderTime; Limit 功能描述 限制返回的数据结果个数 注意事项 LIMIT 查询需要有一个 ORDER BY 字句 示例 SELECT * FROM Orders ORDER BY orderTime LIMIT 3; 父主题: 数据操作语句DML