检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL作业,通过在SQL编辑器使用SQL语句执行数据查询等操作。支持SQL2003,兼容SparkSQL,详细语法描述请参见《数据湖探索Spark SQL语法参考》。 发布区域:全部 使用DLI提交SQL作业查询OBS数据 导出SQL作业结果 OBS 2.0支持DLI Spark作业
GROUP BY 子句必须包含 window_start 和 window_end 列,但 ROLLUP 子句中不能包含这两个字段。 例如:下面这个查询和上个例子中的效果是一样的。 SELECT window_start, window_end, supplier_id, SUM(price)
grade.science[1]"),JSON_VAL(message,"$.grade.dddd") from kafkaSource; 查看sink中kafka的topic中的输出结果 {"message1":null,"message2":"swq","message3":"[80
grade.science[1]"), JSON_VAL(message,"$.grade.dddd") FROM kafkaSource; 查看输出结果 {"message1":null,"message2":"swq","message3":"[80,85]","message4":"[80
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
grade.science[1]"),JSON_VAL(message,"$.grade.dddd") from kafkaSource; 查看sink中kafka的topic中的输出结果 {"message1":null,"message2":"swq","message3":"[80
grade.science[1]"), JSON_VAL(message,"$.grade.dddd") FROM kafkaSource; 查看输出结果 {"message1":null,"message2":"swq","message3":"[80,85]","message4":"[80
如果名称中包含英文句号(.),访问桶或对象时可能会进行安全证书校验。 导入源文件时,如果源文件中的某一列与目标表列类型不匹配,将会导致该行数据的查询结果为null 。 不支持并发导入同一张表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:不允许某用户组删除集群,仅允许DLI基本操作(如创建、查询作业等)。 DLI支持的授权项请参见权限管理概述。 如表3-1所示,包括了DLI的所有系统权限。 系统角色/策略名称 描述 类别 授权方式
sparkSession.sql("insert into dli_to_dws values(3,'Liu'),(4,'Xie')"); 查询数据 1 sparkSession.sql("select * from dli_to_dws").show(); 插入数据后: 提交Spark作业
于存放游戏用户相关数据。因为音乐业务是一个新业务,想在存量的游戏用户中挖掘一些潜在的音乐用户,所以“数据工程师A”把userTable表的查询权限赋给了“数据工程师B”。同时,“数据工程师B”创建了一个musicTable用于存放音乐版权相关数据。 “数据工程师A”和“数据工程师
'obs://xxx/Spendings(ByTransaction)_20200501_20200531.csv', header true) 查询该时间内消费最高的resource_id, resource_name。 通过以下语句,可以发现sql和flink队列使用的费用均为184
sparkSession.sql("insert into css_table values(18, 'John'),(28, 'Bob')"); 查询数据。 sparkSession.sql("select * from css_table").show(); 删除数据表。 sparkSession
用y替换x的子串。从start_position开始,替换length+1个字符。 POSITION INT 返回目标字符串x在被查询字符串y里第一次出现的位置。如果目标字符串x在被查询字符串y中不存在,返回值为0。 REPLACE VARCHAR 字符串替换函数,将字符串str1中的所有str2替换成str3。
用y替换x的子串。从start_position开始,替换length+1个字符。 POSITION INT 返回目标字符串x在被查询字符串y里第一次出现的位置。如果目标字符串x在被查询字符串y中不存在,返回值为0。 REPLACE VARCHAR 字符串替换函数,将字符串str1中的所有str2替换成str3。
sparkSession.sql("insert into testhbase values('12345','abc','xxx')"); 查询数据 1 sparkSession.sql("select * from testhbase").show(); 插入数据后: 开启Kerberos认证