检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若能连通,则表示跨源已经绑定成功,否则表示未成功。 使用ClickHouse客户端连接到ClickHouse服务端,并使用以下命令查询集群标识符cluster等其他环境参数信息。
dropTable", "dli:table:alterTableDropPartition" ] } ] } 访问和使用OBS的权限策略 适用场景:DLI Flink作业下载OBS对象、OBS/DWS数据源(
start和stop的数据类型还可以是date或者timstamp类型,按1天递增或递减。
包含以下类型: DLI表: MANAGED_TABLE OBS表 : EXTERNAL_TABLE 视图:VIRTUAL_VIEW datasource-type 否 String 数据源类型。
select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的DLI表中。 表2 OPTIONS参数描述 参数 是否必选 描述 默认值 multiLevelDirEnable 否 是否迭代查询子目录中的数据。
connector.url' = '', 'connector.table' = '', 'connector.username' = '', 'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型
使用HDFS时需要绑定相应的跨源,并填写相应的主机信息。 使用hdfs时,请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 固定为filesystem。
是 dli_test kyuubi.engine.dli.jdbc.connection.database 用于指定Kyuubi引擎通过JDBC连接到DLI数据源时默认使用的数据库名称。
select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的DLI表中。 示例1:创建DLI非分区表 示例说明:创建名为table1的DLI非分区表,并用STORED AS关键字指定该表的存储格式为orc格式。
示例 该示例是从Kafka数据源中读取数据,并写入Redis到结果表中,其具体步骤如下: 参考增强型跨源连接,根据Redis所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置Redis的安全组,添加入向规则使其对Flink的队列网段放通。
根据订单信息使用kafka作为数据源表,JDBC作为数据结果表统计用户在30秒内的订单数量,并根据窗口的订单id和窗口开启时间作为主键,将结果实时统计到JDBC中: 根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。
创建dis数据源表disSource。
表1 支持类别 类别 详情 支持表类型 源表 注意事项 创建DataGen表时,表字段类型不支持Array,Map和Row复杂类型,可以通过CREATE TABLE语句中的“COMPUTED COLUMN”来进行类似功能构造。
在DLI管理控制台新建“增强型跨源连接”配置DLI与数据源的网络连通。 具体操作请参考增强型跨源连接。
如果能连通,则表示跨源已经绑定成功,否则表示未成功。
表生命周期功能支持Hive、DataSource语法创建表、多版本表,暂不支持跨源表、Carbon表。 生命周期单位为天,取值为正整数。 生命周期只能在表级别设置,不能在分区级设置。为分区表指定的生命周期,适用于该表所有的分区。
select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的OBS表中。 示例1:创建OBS非分区表 示例说明:创建名为table1的OBS非分区表,并用STORED AS关键字指定该表的存储格式为orc格式。
select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的OBS表中。 表2 OPTIONS参数描述 参数 是否必选 描述 path 否 指定的表路径,即OBS存储路径。
1.13/zh/docs/connectors/datastream/kafka/ */ kafkaConsumer.setStartFromGroupOffsets(); //将kafka 加入数据源
说明: 默认情况下,空值在CSV数据源中,2.4.5版本空字符串为"",升级到spark3.3.1后空字符串无引号。 Spark2.4.x:空值在CSV数据源中为""。 Spark3.3.x:空值在CSV数据源中无引号。