检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Print结果表 功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中,方便用户查看,主要用于代码调试,查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name
OpenTSDB结果表 功能描述 OpenTSDB是基于HBase分布式的 ,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。
Hbase维表 功能描述 创建Hbase维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
FileSystem源表 功能描述 本节介绍FileSystem源表的定义,以及创建源表时使用的参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如
内置函数 数学运算函数 字符串函数 时间函数 条件函数 类型转换函数 集合函数 值构建函数 属性访问函数 Hash函数 聚合函数 表值函数 父主题: 函数
Ogg Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构,并支持使用
Orc Format 功能描述 Apache Orc Format允许读写ORC数据。更多具体使用可参考开源社区文档:Orc Format。 支持的Connector FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 描述 format 是 无 String
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理,以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理,需要配置参数: hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
ADD COLUMNS 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE tableName ADD COLUMNS(col_spec[, col_spec ...]) 参数描述 表1 ADD COLUMNS参数描述 参数 描述 tableName
Format概述 Flink 提供了一套与表连接器(table connector)一起使用的表格式(table format)。 表格式是一种存储格式,定义了如何把二进制数据映射到表的列上。 表1 Flink支持格式 Formats 支持的Connectors CSV Kafka
SET 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。 命令语法 ALTER TABLE tableName SET|UNSET tblproperties
COMPACTION 命令功能 压缩( compaction)用于在 MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件,用于加快记录的查找。 命令格式 SCHEDULE COMPACTION on tableIdentifier |tablelocation;
数据库相关 创建数据库 删除数据库 查看指定数据库 查看所有数据库
数据管理维护 Hudi Compaction操作说明 Hudi Clean操作说明 Hudi Archive操作说明 Hudi Clustering操作说明
Flink 1.15版本。 Flink 1.12版本有哪些优势? Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink
TRUNCATE TABLE 命令功能 该命令将会把表中的数据清空。 命令语法 TRUNCATE TABLE tableIdentifier 参数描述 表1 TRUNCATE TABLE参数描述 参数 描述 tableIdentifier 表名。 示例 truncate table
RENAME COLUMN 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 注意事项 如果您的表已经在所需的协议版本上,需要先执行如下语句才能修改成功: ALTER TABLE table_name SET TBLPROPERTIES ('delta
DROP COLUMN 命令功能 ALTER TABLE ... DROP COLUMN语法用于删除列。 命令语法 ALTER TABLE tableName DROP COLUMN|COLUMNS cols 参数描述 表1 DROP COLUMN参数描述 参数 描述 tableName
DESCRIBE FORMATTED COLUMNS 语法 DESCRIBE FORMATTED [db_name.]table_name [PARTITION partition_spec] col_name 描述 描述表或分区的列信息,将包含指定表或分区的列的统计数据。 示例
Parquet Format 功能描述 Apache Parquet格式允许读写 Parquet 数据。更多具体使用可参考开源社区文档:Parquet Format。 支持的Connector FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 描述 format