检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka服务
levenshtein levenshtein函数用于返回两个字符串之间的Levenshtein距离,如levenshtein('kitten','sitting') =3。 Levenshtein距离,是编辑距离的一种。指两个字串之间,由一个转成另一个所需的最少编辑操作次数。 命令格式
lpad locate函数用于返回指定长度的字符串,给定字符串str1长度小于指定长度length时,由指定字符str2从左侧填补。 命令格式 lpad(string <str1>, int <length>, string <str2>) 参数说明 表1 参数说明 参数 是否必选
replace replace函数用于用new字符串替换str字符串中与old字符串完全重合的部分并返回替换后的str。 如果没有重合的字符串,返回原str。 命令格式 replace(string <str>, string <old>, string <new>) 参数说明 表1
rpad rpad函数用于将字符串str2将字符串str1向右补足到length位。 命令格式 rpad(string <str1>, int <length>, string <str2>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1 是 STRING 待向右补位的字符串。
rtrim rtrim函数用于从str的右端去除字符: 如果未指定trimChars,则默认去除空格字符。 如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的右端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: ltri
trim trim函数用于从str的左右两端去除字符: 如果未指定trimChars,则默认去除空格字符。 如果指定了trimChars,则以trimChars中包含的字符作为一个集合,从str的左右两端去除尽可能长的所有字符都在集合trimChars中的子串。 相似函数: lt
url_decode url_decode函数用于将字符串从application/x-www-form-urlencoded MIME格式转为常规字符。 命令格式 url_decode(string <input>[, string <encoding>]) 参数说明 表1 参数说明
值构建函数 函数说明 表1 值构建函数说明 值构建函数 函数说明 ROW(value1, [, value2]*) (value1, [, value2]*) 根据一系列值创建ROW ARRAY ‘[’ value1 [, value2 ]* ‘]’ 根据一系列值创建数组 MAP
ascii ascii函数用于返回字符串str第一个字符的ASCII码。 命令格式 ascii(string <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类
JDBC API参考 DLI JDBC Driver支持JDBC标准的众多API,也有部分API不支持用户调用,例如涉及事务调用的API“prepareCall”,调用这类API将抛出“SQLFeatureNotSupportedException”异常。API详情请参考JDBC官网https://docs
Hadoop jar包冲突,导致Flink提交失败 问题现象 Flink 提交失败,异常为: Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop
按需队列怎样绑定跨源链接? 增强型跨源仅支持“包年/包月”队列和“按需”的专属队列。 因此只有在购买按需队列时勾选了“专属资源模式”,资源专属,按需使用(计费周期等于队列的生命周期),才能绑定跨源链接。 父主题: 跨源连接问题
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI
继续消费 // 取值有: LATEST,从最新的数据开始消费,此策略会忽略通道中已有数据 // EARLIEST,从最老的数据开始消费,此策略会获取通道中所有的有效数据 String offsetPolicy;
典型场景示例:配置弹性资源池队列扩缩容策略 场景介绍 一个企业有多个部门,多个部门不同业务数据分析的时间段可能有所差异,具体场景如下: A部门:在00:00-09:00时间段内资源请求量大,其他时间段有短时间的资源请求量不大的任务运行。 B部门:在10:00-22:00时间段内资
修改表生命周期的时间 功能描述 修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时,会扫描表/分区会扫描路径下的表数据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。
语法支持类型 STRING,BOOLEAN,BYTES,DECIMAL,TINYINT,SMALLINT,INTEGER,BIGINT,FLOAT,DOUBLE,DATE,TIME,TIMESTAMP,TIMESTAMP WITH LOCAL TIME ZONE,INTERVAL
concat_ws concat_ws函数用于连接多个字符串,字符串之间以指定的分隔符分隔。 命令格式 concat_ws(string <separator>, string <str1>, string <str2>[,...]) 或 concat_ws(string <separator>
keyvalue keyvalue函数用于计算将字符串str按照split1进行切分,并按split2将每组变成Key-Value对,返回key所对应的Value。 命令格式 keyvalue(string <str>,[string <split1>,string <split2>