检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若能连通,则表示跨源已经绑定成功;否则表示未成功。
例如:(start_date <> '202007'), partitions(start_date < '201912') 示例 为了便于理解删除分区语句的使用方法,本节示例为您提供源数据,基于源数据提供删除分区的操作示例。
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。
如果源字符在from字符串中不存在,则将复制源字符而不进行翻译。如果在from字符串中匹配字符的索引超出了to字符串的长度,则将从结果字符串中省略源字符。
如需使用DLI增强型跨源,DLI队列网段与数据源网段不能重合。
redis的hash类型,每个key对应一个hashmap,hashmap的hashkey为源表的字段名,hashvalue为源表的字段值。
若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
connector.table' = '', 'connector.driver' = '', 'connector.username' = '', 'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。
如果能连通,则表示跨源已经绑定成功,否则表示未成功。
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。
该选项仅在查找有界的 hive 表源时有效,如果您使用流式 hive 源作为时态表,请使用 streaming-source.monitor-interval 配置数据更新间隔。
该作业脚本将Kafka作为数据源,ClickHouse作业结果表。 如下脚本中的加粗参数请根据实际环境修改。
若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
中发送如下测试数据: {"target":"test-flink","separator":"-"} {"target":"flink","separator":"-"} {"target":"one-two-ww-three","separator":"-"} 即数据如下: 表2 测试源表数据和分隔符
后续指引 如果您想通过Spark Jar作业访问其他数据源,请参考《使用Spark作业跨源访问数据源》。 创建DLI表的语法请参考创建DLI表,创建OBS表的语法请参考创建OBS表。
表生命周期功能支持Hive、DataSource语法创建表、多版本表,暂不支持跨源表、Carbon表。 生命周期单位为天,取值为正整数。 生命周期只能在表级别设置,不能在分区级设置。为分区表指定的生命周期,适用于该表所有的分区。
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。
connection_url 否 String 用于建立跨源关联表时,需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接,该字段为空。
DECIMAL->DECIMAL目标类型整数位的范围必须大于等于源类型,否则转换失败,小数位不足会截断。 VARCHAR->BOOLEAN字符只有 '0','1','TRUE','FALSE' 可转换。