检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“确定”,完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台,创建SQL队列和数据库。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数,单击“执行”提交创建。 如果该客户
key的标识。在插入数据时与参数“table”配合使用。 partitions.number 读取数据时,并发task数。 scan.count 每批次读取的数据记录数,默认为100。如果在读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator
在“创建数据集”页面中,左侧“数据源”栏选择已添加的DLI数据源,请参见图3。 图3 选择数据源 左侧“表”栏中点击右键,刷新表,将列出所有数据库及数据库下面的数据表(这是添加数据源时,“表结构模式”没有配置时的情况),请参见图4。 图4 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select
行分组,返回每个子字符串及对应的记录数。 1 2 insert into temp SELECT substring(name,6),count(name) FROM student GROUP BY substring(name,6); Grouping sets, Rollup
【SPARK-32302】: 部分谓词下推优化。 【SPARK-30648】:支持JSON datasource表谓词下推。 【SPARK-32346】:支持avro datasource表谓词下推 。 【SPARK-32461】:shuffle hash join优化。 【SPARK-32272】:添加SQL标准命令SET
行分组,返回每个子字符串及对应的记录数。 1 2 insert into temp SELECT substring(name,6),count(name) FROM student GROUP BY substring(name,6); GROUP BY中使用HAVING过滤
table_columns 是 待插入的列,具体形式如:"rowKey,f1:c1,f1:c2,f2:c1",其中必须指定rowKey,当某列不需要加入数据库时,以第三列为例,可表示为"rowKey,f1:c1,,f2:c1"。 illegal_data_table 否 如果指定该参数,异常数据
VERSION:指定版本号。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
TBLPROPERTIES:TBLPROPERTIES子句给表添加key/value的属性。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 days 多版本中备份数据
行分组,返回每个子字符串及对应的记录数。 1 2 insert into temp SELECT substring(name,6),count(name) FROM student GROUP BY substring(name,6); GROUP BY中使用HAVING过滤
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。
上述语句窗口从表或分区的开头开始,到当前行结束,对over_test表按照id字段进行排序,并返回排序好后的id及id所对应的序号。 1 SELECT id, count(id) OVER (ORDER BY id ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)
"queue1", "queue_type": "sql", "description": "test", "cu_count": 16, "enterprise_project_id": "elastic_pool_dli" } 响应示例 { "is_success":
(val1 [, val2, ...]) 关键字 表1 INSERT关键字说明 参数 描述 db_name 需要执行INSERT命令的表所在数据库的名称。 table_name 需要执行INSERT命令的表的名称。 part_spec 指定详细的分区信息。若分区字段为多个字段,需要包
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
value1 不支持查询下压的场景 数据类型场景 除上述支持的数据类型外,其余复杂数据类型不支持查询下压。 过滤条件场景 length,count,max,min,join,groupby,orderby,limit和avg等 过滤条件为列比较 例如: 1 select * from
'fenodes' = 'FE_IP:PORT,FE_IP:PORT,FE_IP:PORT', 'table.identifier' = 'database.table', 'username' = 'dorisUsername', 'password' = 'dorisPassword'
其他函数 数组函数 表1 数组函数表 函数 返回值类型 描述 CARDINALITY(ARRAY) INT 返回数组的元素个数。 ELEMENT(ARRAY) - 使用单个元素返回数组的唯一元素。 如果数组为空,则返回null。如果数组有多个元素,则抛出异常。 示例: 返回数组的元素个数为3。
行分组,返回每个子字符串及对应的记录数。 1 2 insert into temp SELECT substring(name,6),count(name) FROM student GROUP BY substring(name,6); Grouping sets, Rollup
行分组,返回每个子字符串及对应的记录数。 1 2 insert into temp SELECT substring(name,6),count(name) FROM student GROUP BY substring(name,6); Grouping sets, Rollup