-
创建中间流 - 数据湖探索 DLI
创建中间流 功能描述 中间流用来简化sql逻辑,若sql逻辑比较复杂,可以写多个sql语句,用中间流进行串接。中间流仅为逻辑意义上的流,不会产生数据存储。 语法格式 1 CREATE TEMP STREAM stream_id (attr_name attr_type (',' attr_name
-
从PostgreSQL CDC源表读取数据写入到DWS - 数据湖探索 DLI
连接已创建的DWS集群。 请参考使用gsql命令行客户端连接DWS集群。 执行以下命令连接DWS集群的默认数据库“testdwsdb”: gsql -d testdwsdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r 执行以下语句,查询DWS的表数据。
-
自定义函数 - 数据湖探索 DLI
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 自定义函数仅能在独享队列中使用,不支持在共享队列中使用。
-
自定义函数 - 数据湖探索 DLI
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 自定义函数仅能在独享队列中使用,不支持在共享队列中使用。
-
自定义函数 - 数据湖探索 DLI
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 自定义函数仅能在独享队列中使用,不支持在共享队列中使用。
-
数据湖探索 DLI - 数据湖探索 DLI
立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。更多内容请参考《区域和可用区》。 DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性,用户可以在单AZ不可用的
-
自定义函数 - 数据湖探索 DLI
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 自定义函数仅能在独享队列中使用,不支持在共享队列中使用。
-
SQL作业运行慢如何定位 - 数据湖探索 DLI
Stage可以看到当前正在运行的Stage运行情况,单击Description中的超链接。 在Stage中,可以看到每一个Task开始运行时间“Launch Time”,以及Task运行耗时时间“Duration”。 单击“Duration”,可以根据耗时进行排序,排查是否存在单个
-
查看计划 - 数据湖探索 DLI
查看计划 功能描述 执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后
-
自定义函数 - 数据湖探索 DLI
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 自定义函数仅能在独享队列中使用,不支持在共享队列中使用。
-
从DLI导入数据到OBS,为什么数据量出现差异? - 数据湖探索 DLI
使用DLI插入数据到OBS临时表文件,数据量有差异。 根因分析 出现该问题可能原因如下: 作业执行过程中,读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后,如需确认插入数据量是否正确,建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求,可以在插入语句后加入“DISTRIBUTE
-
使用场景二:配置弹性资源池队列扩缩容策略 - 数据湖探索 DLI
使用场景二:配置弹性资源池队列扩缩容策略 场景介绍 一个企业有多个部门,多个部门不同业务数据分析的时间段可能有所差异,具体场景如下: A部门:在00:00-09:00时间段内资源请求量大,其他时间段有短时间的资源请求量不大的任务运行。 B部门:在10:00-22:00时间段内资源请求量大
-
自定义函数 - 数据湖探索 DLI
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 自定义函数仅能在独享队列中使用,不支持在共享队列中使用。
-
创建跨源成功但测试网络连通性失败怎么办? - 数据湖探索 DLI
查看队列对应的VPC的路由表信息。 图11 查看路由表目的地址-1 检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护,检查对应子网是否配置了ACL,是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段,同时设置的网络ACL规则包含拒绝该地址访问,那么此安全组规则不生效。
-
Kafka Sink配置发送失败重试机制 - 数据湖探索 DLI
Kafka Sink配置发送失败重试机制 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败: Caused by: org.apache.kafka.common.errors.NetworkException:
-
显示所有函数 - 数据湖探索 DLI
path开头的函数。 'x[a-z]+' 表示匹配以x开头,后面是a到z范围的一个到多个字符的函数名。如可以匹配到:xpath、xtest等。 'x.*h' 匹配以x开头,h结尾,中间为一个或多个字符的函数名。如可以匹配到:xpath、xtesth等。 其他更多正则表达式的使用,可参考官网说明。
-
DLI经典型跨源连接下线(EOL)公告 - 数据湖探索 DLI
Marketing,停止该功能销售。 EOL:End of life,停止所有销售、服务活动。 常见问题 DLI经典型跨源连接EOM和EOL后,正在使用该功能的作业有哪些影响? 如果您正在使用DLI经典型跨源连接的功能,请尽快更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误,不再提供该功能的任何技术服务支持。
-
显示所有函数 - 数据湖探索 DLI
path开头的函数。 'x[a-z]+' 表示匹配以x开头,后面是a到z范围的一个到多个字符的函数名。如可以匹配到:xpath、xtest等。 'x.*h' 匹配以x开头,h结尾,中间为一个或多个字符的函数名。如可以匹配到:xpath、xtesth等。 其他更多正则表达式的使用,可参考官网说明。
-
使用Hive语法创建OBS表 - 数据湖探索 DLI
TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY
-
怎样查看弹性资源池和作业的资源使用情况? - 数据湖探索 DLI
在大数据分析的日常工作中,合理分配和管理计算资源,可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序,调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的剩余可用CUs,才可以确保作业任务的正常执行。 本节操作介绍查看弹性资源池计算