检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列可以使用 cost AS price * quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为 CREATE TABLE 语句定义 时间属性。 处理时间属性 可以简单地通过使用了系统函数
列可以使用 cost AS price * quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为 CREATE TABLE 语句定义 时间属性。 处理时间属性 可以简单地通过使用了系统函数
(orc_table_property = value [, ...] ) ] ]① AS query [ WITH [ NO ] DATA ]② 限制 ① 和 ②的语法不能组合使用。 当使用了avro_schema_url属性时,以下操作是不支持的: 不支持CREATE TABLE AS操作 使用CREATE
表生命周期功能支持Hive、DataSource语法创建表、多版本表,暂不支持跨源表、Carbon表。 生命周期单位为天,取值为正整数。 生命周期只能在表级别设置,不能在分区级设置。为分区表指定的生命周期,适用于该表所有的分区。 语法格式 该语法在表级别禁止或恢复表的生命周期 1 ALTER TABLE table_name
的时间区域限定为固定的 5 分钟,数据集被分成两个不同的时间窗口:[12:00,12:05) 和 [12:05,12:10)。L2 和 R2 不能 join 在一起是因为它们不在一个窗口中。 语法格式 SELECT ... FROM L [LEFT|RIGHT|FULL OUTER]
同。 除此之外,窗口去重需要 PARTITION BY 子句包含表的 window_start 和 window_end 列。 否则优化器无法翻译。 Flink 使用 ROW_NUMBER() 移除重复数据,就像窗口TopN一样。理论上,窗口是一种特殊的窗口 Top-N:N是1并且是根据处理时间或事件时间排序的。
Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时,如果路径下已存在Hudi表,则建表时不需要指定列,且不能修改表的原有属性。 权限需求 由DLI提供的元数据服务 SQL权限: database table CREATE_TABLE 无 细粒度权
fka的另一个topic中。 参考增强型跨源连接,根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,
DATE/TIME/TIMESTAMP/INTERVAL 时间点或时间间隔。 不允许指定不存在于时间点或时间间隔中的时间单位,否则作业会提交失败。 例如如下错误语句,会报错YEAR不能从TIME中提取。 SELECT EXTRACT(YEAR FROM TIME '12:44:31' ) AS `result`
DATE/TIME/TIMESTAMP/INTERVAL 时间点或时间间隔。 不允许指定不存在于时间点或时间间隔中的时间单位,否则作业会提交失败。 例如如下错误语句,会报错YEAR不能从TIME中提取。 SELECT EXTRACT(YEAR FROM TIME '12:44:31' ) AS `result`
obs_path OBS存储路径。 注意事项 向表中添加分区时,此表和分区列(建表时PARTITIONED BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。 若分区表是按照多个字段进行分区的,添加分区时需要指定所有的分区字段,指定字段的顺序可任意。
持date、short、timestamp数据类型。 对于JSON格式OBS表,MAP的键类型只支持STRING类型。 由于MAP类型的键不能为NULL,MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式转换,如:STRING类型转换为其他原生类型、FLOAT类型转换为
partition(provice = 'hebei', city= 'baoding') select name,age from test_p_1; 注意事项 无法对外部表(external)插入数据。 父主题: DML 语法
ME_ZONE。 TIMESTAMP_WITH_LOCAL_TIME_ZONE,和 MULTISET。 Flink的INTERVAL类型还不能映射到Hive INTERVAL类型。 示例 在Flink OpenSource SQL作业中,创建名为myhive的catalog,并使用它用于管理元数据。
Top-N 需要 PARTITION BY 子句包含窗口表值函数或窗口聚合产生的 window_start 和 window_end。 否则优化器无法翻译。 更多介绍和使用请参考开源社区文档:窗口Top-N。 语法格式 SELECT [column_list] FROM ( SELECT
在实际情况下,对大量数据进行统计时,有时只关心一个近似值,而非具体值,比如统计某产品的销量,这种时候,近似值聚合函数就很有用,它使用较少的内存和CPU资源,以便可以获取数据结果而不会出现任何问题,例如溢出到磁盘或CPU峰值。这对于数十亿行数据运算的需求很有用。 approx_median(x)
助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制 创建自定义镜像必须使用DLI提供的基础镜像。 不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业,即jar包作业。 使用流程 图1 自定义镜像使用流程
ze”表示数据库规模的大小,能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之,TPC组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。
ttl(所有分区作为临时表)设置一个相对较大的值。否则,作业容易出现性能问题,避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时,Hive表将被缓存到Slot内存中,然后通过键将流中的每条记录与表进
DATE/TIME/TIMESTAMP/INTERVAL 时间点或时间间隔。 不允许指定不存在于时间点或时间间隔中的时间单位,否则作业会提交失败。 例如如下错误语句,会报错YEAR不能从TIME中提取。 SELECT EXTRACT(YEAR FROM TIME '12:44:31' ) AS `result`