-
BlackHole结果表 - 数据湖探索 DLI
'connector' = 'blackhole' ); 参数说明 表1 选项 是否必要 默认值 类型 描述 connector 是 无 String 指定需要使用的连接器,此处应为'blackhole'。 示例 通过DataGen源表产生数据,BlackHole结果表接收传来的数据。 create table
-
regexp - 数据湖探索 DLI
regexp_extract('basketball', 'bas(.*?)(ball)',0); 返回99。在DLI上提交正则计算的SQL,需要使用两个"\"作为转义字符。 select regexp_extract('8d99d8', '8d(\\d+)d8'); 返回【你好】。 select
-
regexp - 数据湖探索 DLI
regexp_extract('basketball', 'bas(.*?)(ball)',0); 返回99。在DLI上提交正则计算的SQL,需要使用两个"\"作为转义字符。 select regexp_extract('8d99d8', '8d(\\d+)d8'); 返回【你好】。 select
-
分组聚合 - 数据湖探索 DLI
窗口不会产生状态过大的问题。可以提供一个合适的状态 time-to-live (TTL) 配置来防止状态过大。注意:这可能会影响查询结果的正确性。 更多介绍和使用请参考开源社区文档:分组聚合。 DISTINCT 聚合 DISTINCT 聚合在聚合函数前去掉重复的数据。下面的示例计算 Orders 表中不同
-
创建JDBC维表 - 数据湖探索 DLI
password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,‘jdbc’表示使用JDBC connector,必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名
-
userDefined源表 - 数据湖探索 DLI
class-name' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 只能为user-defined,表示使用自定义的source。 connector.class-name 是 source函数的全限定类名。 connector.class-parameter
-
清理多版本数据 - 数据湖探索 DLI
yyyy-MM-dd HH:mm:ss 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生成的多
-
userDefined源表 - 数据湖探索 DLI
class-name' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 只能为user-defined,表示使用自定义的source。 connector.class-name 是 source函数的全限定类名。 connector.class-parameter
-
清理多版本数据 - 数据湖探索 DLI
yyyy-MM-dd HH:mm:ss 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生成的多
-
DataGen源表 - 数据湖探索 DLI
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 fields
-
创建JDBC维表 - 数据湖探索 DLI
password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,‘jdbc’表示使用JDBC connector,必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名
-
DataGen源表 - 数据湖探索 DLI
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器,这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 fields
-
插入数据至DWS表 - 数据湖探索 DLI
想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时不需要指定Schema信息,Schema信息将使用DWS表的信息。如果select子句中选择的字段数量和类型与DWS表的Schema信息不匹配时,系统将报错。 不建议对同一张表并发插入数据
-
解绑队列 - 数据湖探索 DLI
连接ID,用于标识跨源连接的UUID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 queues 否 Array of String 需要使用跨源的队列名列表。 elastic_resource_pools 否 Array of Strings 将这些弹性资源池解绑定增强跨源。 响应消息
-
插入数据至RDS表 - 数据湖探索 DLI
想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时不需要指定Schema信息,Schema信息将使用RDS表的信息。如果select子句中选择的字段数量和类型与RDS表的Schema信息不匹配时,系统将报错。 不建议对同一张表并发插入数据
-
导出SQL作业结果 - 数据湖探索 DLI
DLI在指定了一个默认的OBS桶作为作业结果的存储位置,请在DLI管理控制台的“全局配置 > 工程配置”中配置桶信息。当作业完成后,系统会自动将结果存储到这个默认桶中。 使用DLI作业桶读取查询结果,需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。作业桶配置请参考工程配置。 提
-
状态码 - 数据湖探索 DLI
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use
-
概述 - 数据湖探索 DLI
配置 > 工程配置”页面配置DLI作业桶。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 仅Spark作业支持使用自定义镜像。了解自定义镜像。 当前弹性资源池最大的计算资源 32000CUs。 弹性资源池中可创建队列的最小CU: 通用队列:4CUs SQL队列:Spark
-
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败 - 数据湖探索 DLI
e(fs.special_start_time), 'yyyymmdd') = substr('20220601',1,8) 解决措施 在使用join进行多表关联查询时,不管表数据量大小,join时都需要指定on条件来减少多表关联的数据量,从而减轻队列的负荷,提升查询效率。 例如
-
窗口聚合 - 数据湖探索 DLI
据。和其他连续表上的聚合不同,窗口聚合不产生中间结果,只在窗口结束产生一个总的聚合结果,另外,窗口聚合会清除不需要的中间状态。 更多介绍和使用请参考开源社区文档:窗口聚合。 分组窗口的开始和结束时间戳可以通过 window_start 和 window_end 来选定。 窗口表值函数