检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DESCRIBE FORMATTED COLUMNS 语法 DESCRIBE FORMATTED [db_name.]table_name [PARTITION partition_spec] col_name 描述 描述表或分区的列信息，将包含指定表或分区的列的统计数据。 示例
Hbase HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没有声明主键
CREATE FUNCTION语句 语法定义 CREATE FUNCTION [IF NOT EXISTS] function_name AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数 语法说明 IF NOT EXISTS
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台，选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION，
创建CSS类型跨源认证 操作场景 通过在DLI控制台创建的CSS类型的跨源认证，将CSS安全集群的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问CSS安全集群。 本节操作介绍在DLI控制台创建CSS安全集群的跨源认证的操作步骤。 操作须知 已创建CSS安全集群，且集群满足以下条件
DISTRIBUTE BY 功能描述 按字段实现表的分桶。 语法格式 1 2 SELECT attr_expr_list FROM table_reference DISTRIBUTE BY col_name [,col_name ,...]; 关键字 DISTRIBUTE
构造请求 本章节介绍REST API请求的组成，并以调用IAM服务的获取用户Token来说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com
如何在DLI中运行复杂PySpark程序？ 数据湖探索（DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Python
Flink OpenSource SQL1.15语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明，示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal
DLI权限管理类 队列引擎版本升级后，在创建表时，提示权限不足怎么办？ 什么是DLI分区表的列赋权？ 更新程序包时提示权限不足怎么办？ 执行SQL查询语句报错：DLI.0003: Permission denied for resource.... 已经给表授权，但是提示无法查询怎么办
聚合函数 聚合函数将所有的行作为输入，并返回单个聚合值作为结果。 表1 聚合函数 函数 描述 COUNT([ ALL ] expression | DISTINCT expression1 [, expression2]*) 默认情况下或使用关键字 ALL，返回不为 NULL 的表达式的输入行数
CREATE FUNCTION语句 语法定义 CREATE FUNCTION [IF NOT EXISTS] function_name AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数。 如果您需要了解创建自定义函数的步骤请参考自定义函数
关系运算符 所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN
SQL函数和操作符 逻辑运算符 比较函数和运算符 条件表达式 Lambda 表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数 窗口函数 数组函数和运算符
了解数据目录、数据库和表 数据库和表是SQL作业、Spark作业场景开发的基础，在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。 数据目录 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。
Flink Jar作业设置backend为OBS，报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业，通过设置checkpoint存储在OBS桶中，作业一直提交失败，并伴有报错提交日志，提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限
Map函数和运算符 下表操作符: [] 描述：[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map)
pow pow函数用于计算返回a的p次幂。 命令格式 pow(DOUBLE a, DOUBLE p), power(DOUBLE a, DOUBLE p) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 以SQL作业为例： 配置参数 hoodie.tableName.consume.mode
使用DataSource语法创建DLI表 功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
