检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
- ARRAY ARRAY 示例 使用Kafka发送数据,通过JDBC结果表将Kafka数据再输出到MySQL数据库中。 参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MyS
因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库,并提示数据库不存在是为了确保Spark作业正常运行,无需执行其他操作。 父主题: Spark作业运维类
)”,例如:PARTITION (facultyNo=20, classNo=103);。 示例 为了便于理解删除分区语句的使用方法,本节示例为您提供源数据,基于源数据提供删除分区的操作示例。 使用DataSource语法创建一个OBS表分区表。 创建了一个名为student的OBS分区表,表中有学生
是否必选 参数类型 说明 queues 否 Array of Strings 需要使用跨源的队列名列表。 elastic_resource_pools 否 Array of Strings 需要使用跨源的弹性资源池列表,将这些弹性资源池绑定到该增强跨源。 响应消息 表3 响应参数
待搜索的目标字符串。 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算,其他类型会返回报错。 返回值说明 返回BIGINT类型的值。 str非STRING、BIGINT、DOUBLE、DECIMAL或DATETIME类型时,返回报错。
开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
支持选择如下分隔符。 逗号(,) 竖线(|) 制表符(\t) 其他:输入自定义分隔符 默认值:逗号(,) 自定义引用字符 当“文件格式”为“CSV”,勾选自定义引用字符前的方框时,该参数有效。 支持选择如下引用字符。 单引号(') 双引号(") 其他:输入自定义引用字符 默认值:单引号(') 自定义转义字符
- ARRAY ARRAY 示例 使用Kafka发送数据,通过JDBC结果表将Kafka数据再输出到MySQL数据库中。 参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MyS
dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
t恢复”。 checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡,比如10分钟。 使用HDFS时需要绑定相应的跨源,并填写相应的主机信息。 使用hdfs时,请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明 connector
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值,则可以通过在Flink中设置主键获取,主键字段即对应Redis的key。
读取kafka中的数据,以avro格式反序列化,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性
读取kafka中的数据,以avro格式反序列化,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性
dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 1 2 ALTER TABLE [db_name.]table_name SET TBLPROPERTIES
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值,则可以通过在flink中设置主键获取,主键字段即对应redis的key。
- ARRAY ARRAY 示例 使用JDBC作为数据源,Print作为sink,从RDS MySQL数据库中读取数据,并写入到Print中。 参考增强型跨源连接,根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置RDS
time/R.time)的比较表达式。 注意事项 时间窗口join需要至少一个 equi-join 谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词
time/R.time)的比较表达式。 注意事项 时间窗口join需要至少一个 equi-join 谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词
time/R.time)的比较表达式。 注意事项 时间窗口join需要至少一个 equi-join 谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词