检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SELECT语句用于从表中选取数据。 ALL表示返回所有结果。 DISTINCT表示返回不重复结果。 注意事项 所查询的表必须是已经存在的表,否则会出错。 WHERE关键字指定查询的过滤条件,过滤条件中支持算术运算符,关系运算符,逻辑运算符。 GROUP BY指定分组的字段,可以单字段分组,也可以多字段分组。
创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用CSS提供的"内网访问地址",格式为"IP1:PORT1,IP2:PORT2"。 resource 指定在CSS关联的资源名,用"/index/type"指定资源位置(可简单理解index为datab
jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。DWS数据库版本为8.1.0以后的版本时,格式为:jdbc:gaussdb://${ip}:${port}/${dbName}。 connector.table 是 操作的表名
agency) 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面,按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1 dli_management_agency委托包含的权限 适用场景 委托名 权限说明 基础使用
用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的OBS表中。 表2 OPTIONS参数描述 参数 是否必选 描述 path 否 指定的表路径,即OBS存储路径。 multiLevelDirEnable 否 嵌套子目录场景下,是否迭代查询子目录中的数据。当配置为true时,查询该表时会迭
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Upsert Kafka始终以upsert方式工作,并且需要在 DDL 中定义主键。
窗口去重是一种特殊的去重,它根据指定的多个列来删除重复的行,保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,性能较好。通常,窗口去重直接用于窗口表值函数上。另外,它
ROW FORMAT... 空值分区的查询语句不同 说明: Spark2.4.x: Spark 3.0.1或更早版本中,如果分区列是字符串类型,则将其解析为其文本表示形式的字符串文本,例如字符串“null”。 通过part_col='null'查询空值分区的数据。 Spark3.3.x:
NOT EXISTS table_name (id STRING) USING parquet; 2. 执行show create table查看TBLPROPERTIES下的"verison"字段的值 "v1"为V1表;"v2"则为V2表。 如需修改V1表为V2表请提交工单联系客户支持获取操作帮助。
已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
ng,binary,varbinary,timestamp,date,char,array,row,map,struct。其余的类型在数据查询和运算时支持。 通常情况下,大部分非复合数据类型都可以通过字面量加字符串的方式来输入,示例为添加了一个json格式的字符串: select
进入Spark作业编辑页面,页面会提示系统将创建DLI临时数据桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志、作业结果等。如果不创建该桶,将无法查看作业日志。可以通过配置生命周期规则实现定时删除OBS桶中的对象或者定时转换对象的存储类别。桶名称为系统默认。 如果不需要创建DLI临时数据
已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
sum(expression) FROM table GROUP BY a, b GROUPING SETS((a,b)); 将转换为以下一条查询: 1 2 SELECT a, b, sum(expression) FROM table GROUP BY a, b; SELECT
已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
"op": "u", "ts_ms": 1589362330904, "transaction": null } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名
已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
设置完成后,单击“结果图形化”,查看所有队列的扩缩容策略设置情况。 图3 弹性资源池队列扩缩容策略结果图形化 图4 弹性资源池队列扩缩容策略图像化展示 后续到了队列扩缩容策略配置的时间,会生成一个扩缩容任务。具体可以在“作业管理 > SQL作业”下查看作业类型为“SCALE_QUEUE”的作业。