检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
指定筛选条件删除分区(只支持OBS表) 功能描述 指定筛选条件删除分区表的一个或多个分区。 注意事项 该命令仅支持操作OBS表,不支持对DLI表进行操作。 所要删除分区的表必须是已经存在的表,否则会出错。
使用该功能,所有涉及OBS的桶,都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面,选择配置优化参数,配置信息如下: 不同的OBS桶,使用不同的AKSK认证信息。 可以使用如下配置方式,根据桶指定不同的AKSK信息,参数说明详见表1。
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。
JSON Format 功能描述 JSON Format 能读写 JSON 格式的数据。当前,JSON schema 是从 table schema 中自动推导而得的。更多具体使用可参考开源社区文档:JSON Format。
文件系统输出流(推荐) 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务(OBS)等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。
创建表(废弃) 功能介绍 该API用于创建新的表。该接口是同步接口。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。
查询所有队列 功能介绍 该API用于列出该project下所有的队列。 调试 您可以在API Explorer中调试该接口。
文件系统输出流(推荐) 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务(OBS)等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。
自定义函数中引用static类或接口时,必须要加上“try catch”异常捕获,否则可能会造成包冲突,导致函数功能异常。 环境准备 在进行UDF开发前,请准备以下开发环境。 表1 UDF开发环境 准备项 说明 操作系统 Windows系统,支持Windows7以上版本。
[db_name.]table_name 功能描述 根据指定的表名创建一个表。 语法说明 COMPUTED COLUMN 计算列是一个使用 “column_name AS computed_column_expression” 语法生成的虚拟列。
操作步骤 自定义函数中提供了可选的open(FunctionContext context)方法,FunctionContext具备参数传递功能,自定义配置项通过此对象来传递。
Ogg Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。
使用Temporal join关联维表的最新版本 功能描述 对于Hive表,我们可以将其作为有界流读出。在这种情况下,Hive表只能在查询时跟踪其最新版本。最新版本的表保留了Hive表的所有数据。 注意事项 每个连接子任务都需要保留自己的Hive表缓存。
操作步骤 自定义函数中提供了可选的open(FunctionContext context)方法,FunctionContext具备参数传递功能,自定义配置项通过此对象来传递。
导入数据(废弃) 功能介绍 该API用于将数据从文件导入DLI或OBS表,目前仅支持将OBS上的数据导入DLI或OBS中。 当前接口已废弃,不推荐使用。 该API为异步操作。 导入数据时,可选择已存在的OBS桶路径或新建OBS桶路径,但只能指定一个OBS桶路径。
[db_name.]table_name 功能描述 根据指定的表名创建一个表。 语法说明 COMPUTED COLUMN 计算列是一个使用 “column_name AS computed_column_expression” 语法生成的虚拟列。
[db_name.]table_name 功能描述 根据指定的表名创建一个表。 语法说明 COMPUTED COLUMN 计算列是一个使用 “column_name AS computed_column_expression” 语法生成的虚拟列。
Doris维表 功能描述 创建Doris维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。