检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样将一个区域中的DLI表数据同步到另一个区域中? 可以使用OBS跨区域复制功能实现,步骤如下: 将区域一中的DLI表数据导出到自定义的OBS桶中。 具体请参考《数据湖探索用户指南》。 通过OBS跨区域复制功能将数据复制至区域二的OBS桶中。 具体请参考跨区域复制。 根据需要导入或使用对应的数据。
使用跨源认证则无需在作业中配置账号和密码。 示例 从Kafka源表中读取数据,将DWS表作为维表,并将二者生成的宽表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据DWS和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。
= 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername'
JOIN/INNER JOIN:只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。
JOIN/INNER JOIN:只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。
String 操作的表名。如果该DWS表在某schema下,则格式为:'schema\".\"具体表名',具体可以参考常见问题说明。 driver 否 org.postgresql.Driver String jdbc连接驱动,默认为: org.postgresql.Driver。
若需要使用upsert模式,则必须在DWS结果表和该结果表连接的DWS表都定义主键。 若DWS在不同的schema中存在相同名称的表,则在flink opensource sql中需要指定相应的schema。 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。该
从Kafka源表中读取数据,将JDBC表作为维表,并将二者生成的表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafk
功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要删除的分区
String 操作的表名。如果该DWS表在某schema下,则格式为:'schema\".\"具体表名',具体可以参考常见问题说明。 driver 否 org.postgresql.Driver String jdbc连接驱动,默认为: org.postgresql.Driver。
每次从数据库拉取数据的行数。默认值为0,表示忽略该提示。 connector.lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。 connector.lookup.cache.ttl 否 维表配置,缓存超时时间,超
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
每次从数据库拉取数据的行数。默认值为0,表示忽略该提示。 connector.lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。 connector.lookup.cache.ttl 否 维表配置,缓存超时时间,超
datediff datediff函数用于计算两个时间date1、date2的日期差值。 相似函数:datediff1,datediff1函数用于计算两个时间date1、date2的差值,将差值以指定的时间单位datepart表示。 命令格式 datediff(string date1
datediff datediff函数用于计算两个时间date1、date2的日期差值。 相似函数:datediff1,datediff1函数用于计算两个时间date1、date2的差值,将差值以指定的时间单位datepart表示。 命令格式 datediff(string date1
levenshtein levenshtein函数用于返回两个字符串之间的Levenshtein距离,如levenshtein('kitten','sitting') =3。 Levenshtein距离,是编辑距离的一种。指两个字串之间,由一个转成另一个所需的最少编辑操作次数。 命令格式
levenshtein levenshtein函数用于返回两个字符串之间的Levenshtein距离,如levenshtein('kitten','sitting') =3。 Levenshtein距离,是编辑距离的一种。指两个字串之间,由一个转成另一个所需的最少编辑操作次数。 命令格式
想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时不需要指定Schema信息,Schema信息将使用DWS表的信息。如果select子句中选择的字段数量和类型与DWS表的Schema信息不匹配时,系统将报错。 不建议对同一张表并发插入数
参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。 yyyy代表年份。 MM代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BIGINT类型。 date1、date2非DATE或STRING类型时,返回报错,错误信息:data
参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。 yyyy代表年份。 MM代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BIGINT类型。 date1、date2非DATE或STRING类型时,返回报错,错误信息:data