检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下: 1 2 3 4 5 6 public static
计算两个时间date1、date2的日期差值中的被减数。 格式为: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 date2 是 DATE 或 STRING 计算两个时间date1、date2的日期差值的减数。 格式为: yyyy-mm-dd
执行该语句将返回该SQL语句的逻辑计划与物理执行计划。 语法格式 1 EXPLAIN [EXTENDED | CODEGEN] statement; 关键字 EXTENDED:指定该关键字后,会同时输出逻辑计划与物理执行计划。 CODEGEN:指定该关键字后,若有codegen产生的代码也将输出。
DATE STRING TINYINT SMALLINT INT BIGINT 代表待处理的时间。 DATE或STRING类型的日期值,或TINYINT、SMALLINT、INT或BIGINT类型的时间戳。 格式: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd
select_statement;”用于改变已存在的视图的定义,语法效果与CREATE OR REPLACE VIEW类似。 “ALTER VIEW view_name SET TBLPROPERTIES table_properties;”中table_properties格式为 (property_name
hdfs_path 格式 无。 说明 HDFS的路径,如“hdfs:///tmp”。 父主题: 标示符
将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
注意事项 在全天的任意一个时间段内,弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 在全天的任意一个时间段内,弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池创建后,调整最小CU时,最小CU需小于等于弹性资源池当前的CU值,否则会修改失败。
Base连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行,可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键,HBase连接器默认取rowkey作为主键。详情可参考HBase SQL
前提条件 已参考Python SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 上传资源包 您可以使用DLI提供的接口上传资源包,示例代码如下。完整样例代码和依赖包说明请参考:Python SDK概述。 1 2 3 4 5 6 def
number 格式 无。 说明 LIMIT限制输出的行数,只支持INT类型。 父主题: 标示符
mat中出现多余的格式串,则只取第一个格式串对应的日期数值,其余的会被视为分隔符。例如isdate("1234-yyyy", "yyyy-yyyy"),会返回True。 last_day last_day(string date) DATE 返回date所在月份的最后一天,格式为
input_format_classname 格式 无。 说明 指定输入格式的类名,如org.apache.hadoop.mapred.TextInputFormat。 父主题: 标示符
目前包含以上6种格式。 指定数据格式的方式有两种,一种是USING,可指定以上6种数据格式,另一种是STORED AS,只能指定ORC和PARQUET。 ORC对RCFile做了优化,可以提供一种高效的方法来存储Hive数据。 PARQUET是面向分析型业务的列式存储格式。 父主题: 标示符
该标记后,通过当前时间减去标记中带的时间戳的方式,计算时延指标。算子的反压状态和时延可以通过Flink UI或者作业任务列表查看,一般情况下反压和高时延成对出现: 图2 反压状态和时延 性能分析 由于Flink的反压机制,流作业在存在性能问题的情况下,会导致数据源消费速率跟不上生
提升对象存储服务(OBS)在处理小文件写入时的性能,提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询
按数据扫描量计费是针对默认default 队列,即使用default队列时,是按扫描量计费。 您单独购买的队列 ,可选择按需计费(按CU时计费)或包年包月计费。 具体的计费模式请参考:计费说明。 父主题: 计费相关问题
除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下: col值为NULL时,该行不参与计算。 col为BOOLEAN类型时,不允许参与运算。 示例代码 计算所有商品的最高库存(items)。命令示例如下:
sum(expression) FROM table; 注意事项 所要分组的表必须是已经存在的表,否则会出错。 不同于ROLLUP,GROUPING SETS目前仅支持一种格式。 示例 根据group_id与job两个字段生成交叉表格行,返回每种聚合情况下的salary总和。 1 2 3 SELECT group_id
input 是 STRING类型。 要输入的字符串。 endcoding 否 STRING类型。 指定编码格式,支持GBK或UTF-8等标准编码格式,不输入默认为UTF-8。 返回值说明 返回STRING类型的值。 STRING类型UTF-8编码的字符串。 示例代码 返回 Example