检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
min、minute等。 为0则表示不根据时间刷新 connector.write.max-retries 否 3 Integer 写数据失败时的最大尝试次数,默认值为:3。 示例 从Kafka中读取数据,并将数据插入到数据库为flink、表名为order的ClickHouse数
DATE/TIME/TIMESTAMP/INTERVAL 时间点或时间间隔。 不允许指定不存在于时间点或时间间隔中的时间单位,否则作业会提交失败。 例如如下错误语句,会报错YEAR不能从TIME中提取。 SELECT EXTRACT(YEAR FROM TIME '12:44:31' ) AS `result`
conn.close(); } } } } 开启重试功能 开启JDBC重试功能,执行查询操作失败时系统会进行重试。 为避免重复数据插入等操作,非查询语句不进行重试。 1.1.5及以上版本JDBC驱动包具有该功能。如果需要使用该功能,请获取最新版本JDBC驱动包。
U数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置,并且包含设置的开启时间,不包含设置的结束时间,例如设置时间段00-09
SESSION_END(time_attr, interval) 返回相对应的滚动、滑动和会话窗口范围以外的上界时间戳。 注意: 范围以外的上界时间戳不可以 在随后基于时间的操作中,作为行时间属性使用,比如基于时间窗口的join以及分组窗口或分组窗口上的聚合。 TUMBLE_ROWTIME(time_attr
SESSION_END(time_attr, interval) 返回相对应的滚动、滑动和会话窗口范围以外的上界时间戳。 注意: 范围以外的上界时间戳不可以 在随后基于时间的操作中,作为行时间属性使用,比如基于时间窗口的join以及分组窗口或分组窗口上的聚合。 TUMBLE_ROWTIME(time_attr
DATE/TIME/TIMESTAMP/INTERVAL 时间点或时间间隔。 不允许指定不存在于时间点或时间间隔中的时间单位,否则作业会提交失败。 例如如下错误语句,会报错YEAR不能从TIME中提取。 SELECT EXTRACT(YEAR FROM TIME '12:44:31' ) AS `result`
MRS HBase输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的HBase中。 前提条件 确保您的账户下已在MapReduce服务(MRS)里创建了您配置的集群。DLI支持与开启kerberos的hbase集群对接。 该场景作业需要运行在DLI的独享队列上,请确保已创建DLI独享队列。
MRS HBase输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的HBase中。 前提条件 确保您的账户下已在MapReduce服务(MRS)里创建了您配置的集群。DLI支持与开启kerberos的hbase集群对接。 该场景作业需要运行在DLI的独享队列上,请确保已创建DLI独享队列。
CloudTable HBase输出流 功能描述 DLI将作业的输出数据输出到CloudTable的HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系
hive 元存储的视图中以原子方式添加每个分区。否则,将使用添加到现有分区的新数据。 流式读取不支持 Flink DDL 中的水印语法。这些表不能用于窗口运算符。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
CloudTable HBase输出流 功能描述 DLI将作业的输出数据输出到CloudTable的HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系
字符串函数 表1 字符串函数 SQL函数 描述 string1 || string2 返回 STRING1 和 STRING2 的连接。 CHAR_LENGTH(string) CHARACTER_LENGTH(string) 返回字符串中的字符数。 UPPER(string) 以大写形式返回字符串。
境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号,不能使用双引号。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table dwsSource (
DATE/TIME/TIMESTAMP/INTERVAL 时间点或时间间隔。 不允许指定不存在于时间点或时间间隔中的时间单位,否则作业会提交失败。 例如如下错误语句,会报错YEAR不能从TIME中提取。 SELECT EXTRACT(YEAR FROM TIME '12:44:31' ) AS `result`
connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置? A:如下示例是使用schema为dbuser2下的表area_info:
connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置? A:如下示例是使用schema为dbuser2下的表area_info:
账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
d/min、minute等,默认值为1s。设置为0则表示不根据时间刷新。 sink.max-retries 否 3 Integer 写数据失败时的最大尝试次数,默认值为3。 示例 示例1:从Kafka中读取数据,并将数据插入ClickHouse中(ClickHouse版本为MRS的21