检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
db_name 否 Database名称。 由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 是 Database中的表名。 由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。匹配规则为:^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。
SERDEPROPERTIES:Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
d/min、minute等,默认值为1s。设置为0则表示不根据时间刷新。 sink.max-retries 否 3 Integer 写数据失败时的最大尝试次数,默认值为3。 示例 示例1:从Kafka中读取数据,并将数据插入ClickHouse中(ClickHouse版本为MRS的21
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
BY进行分组,再在HAVING子句中进行过滤,HAVING子句支持算术运算,聚合函数等。 注意事项 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。 示例 根据字段name对表student进行分组,再按组将score最大值大于95的记录筛选出来。
如果需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果表如果定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多
point成功时生成。如果没有开启Checkpoint功能,文件将永远停留在in-progress或者pending的状态,并且下游系统将不能安全读取该文件数据。 sink end算子的接受记录数为checkpoint的个数,非实际的发送数据,实际发送数据量请参考streamin
等式操作符,及IN,NOT IN操作符。 注意事项 所要查询的表必须是已经存在的表,否则会出错。 此处的sub_query与聚合函数的位置不能左右互换。 示例 对表student_info按字段name进行分组,计算每组中记录数,若其记录数等于子查询中表course_info的记
等式操作符,及IN,NOT IN操作符。 注意事项 所要查询的表必须是已经存在的表,否则会出错。 此处的sub_query与聚合函数的位置不能左右互换。 示例 对表student_info按字段name进行分组,计算每组中记录数,若其记录数等于子查询中表course_info的记
3及以上版本的引擎执行作业时,需要在作业配置中添加新建的委托信息。 否则Spark3.3.1作业不指定委托时,无法使用OBS;Flink1.15作业不指定委托时,无法开启checkpoint、savepoint,作业提交日志无法转储,无法使用OBS、DWS等数据源。 仅有运行在弹性资源池队列上的Flink 1.15和Spark3
窗口聚合中 GROUP BY 子句必须包含 window_start 和 window_end 列,但 GROUPING SETS 子句中不能包含这两个字段。 Flink SQL> SELECT window_start, window_end, supplier_id, SUM(price)
connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置? A:如下示例是使用schema为dbuser2下的表area_info:
connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置? A:如下示例是使用schema为dbuser2下的表area_info:
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 POM依赖 <dependency>
'postgresql://ip:port/database' 说明: 将数据库连接地址设置为DWS数据库地址,即可创建DWS维表。DWS数据库版本大于8.1.0后,无法用开源的postgresql驱动连接,需要用gaussdb驱动进行连接。 table_name 是 用于查询数据的数据库表名。 db_columns
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 POM依赖 <dependency>