检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DataSource语法创建OBS表 功能描述 本节介绍使用DataSource语法创建OBS表。 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提
function_name 格式 无。 说明 函数名称,仅支持字符串类型。 父主题: 标示符
value11 = value21 [ AND value12 = value22] 注意事项 目前仅支持 equi-join ,即 join 的联合条件至少拥有一个相等谓词。不支持任何 cross join 和 theta join。 Join 的顺序没有进行优化,join 会按照
删除表中名为column_name的列。 ALTER TABLE name DROP COLUMN column_name 不支持删除分区列或者分桶列。 DROP COLUMN不支持rctext、rcbinary、rcfile 格式存储的表。由于connector对不同文件格式的列访问模式不同,drop
value11 = value21 [ AND value12 = value22] 注意事项 目前仅支持 equi-join ,即 join 的联合条件至少拥有一个相等谓词。不支持任何 cross join 和 theta join。 Join 的顺序没有进行优化,join 会按照
参数类型 说明 action 是 String 执行动作: restart:重启。只有SQL类型的队列支持重启。 scale_out:扩容 scale_in:缩容 说明: 目前只支持restart、scale_out、scale_in。 force 否 Boolean 是否强制重启
边缘Flink作业Action回调(废弃) 功能介绍 该API用于处理IEF Flink作业action回调信息。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/messages
translate translate函数用于将input字符串中的所出现的字符或者字符串from用字符或者字符串to替换。 例如:将abcde中的bcd替换成BCD。 translate("abcde", "bcd", "BCD") 命令格式 translate(string|char|varchar
区列放在最后一列。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。 导入文件支持CSV,Parquet,ORC,JSON和Avro格式,且编码格式仅支持UTF-8。 前提条件 待导入的数据已存储到OBS上。 导入数据步骤 导入数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
number 格式 无。 说明 LIMIT限制输出的行数,只支持INT类型。 父主题: 标示符
日期函数概览 DLI所支持的日期函数如表1所示。 表1 日期/时间函数 函数 命令格式 返回值 功能简介 add_months add_months(string start_date, int num_months) STRING 返回start_date在num_months个月之后的date。
聚合函数概览 DLI所支持的聚合函数如聚合函数表所示。 表1 聚合函数表 函数 命令格式 返回值 功能简介 avg avg(col), avg(DISTINCT col) DOUBLE 求平均值。 corr corr(col1, col2) DOUBLE 返回两列数值的相关系数。
data_type 格式 无。 说明 数据类型,当前只支持原生数据类型。 父主题: 标示符
数学函数概览 DLI所支持的数学函数如数学函数所示。 表1 数学函数 函数 命令格式 返回值 功能简介 abs abs(DOUBLE a) DOUBLE或INT 取绝对值。 acos acos(DOUBLE a) DOUBLE 返回给定角度a的反余弦值。 asin asin(DOUBLE
否 数据写入模式,支持: copy, insert以及upsert三种。默认值为upsert。 该参数与'primary key'配合使用。 未配置'primary key'时,支持copy及insert两种模式追加写入。 配置'primary key',支持copy、upsert以及insert三种模式更新写入。
本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要删除的分区必须是已经存
该API用于创建与其他服务的增强型跨源连接。 如果需要了解Console界面的使用方法,可参考《数据湖探索用户指南》中的“增强型跨源连接”。 系统default队列不支持创建跨源连接。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v2.0/{project_id}/
数据类型介绍 目前使用Hetu引擎建表时支持的数据类型有:tinyint,smallint,bigint,int,boolean,real,decimal,double,varchar,string,binary,varbinary,timestamp,date,char,arr
可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka
分析窗口函数概览 DLI所支持的分析窗口函数如分析窗口函数介绍所示。 表1 分析窗口函数介绍 函数 命令格式 返回值 功能简介 cume_dist cume_dist() DOUBLE 用于求累计分布,相当于求分区中大于等于或小于等于当前行的数据在分区中的占比。 first_value