检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按列GROUP BY 功能描述 按列对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list; 关键字 GROUP BY:按列可分为单列GROUP BY与多列GROUP
SHOW TABLES 语法 SHOW TABLES [ (FROM | IN) schema ] [ LIKE pattern [ESCAPE escapeChar] ] 描述 这个表达式用于列出指定schema下的所有表。如果没有指定schema,则默认使用当前所在的schema
创建指定地址连通性测试请求 功能介绍 该API用于往指定队列发送地址连通性测试请求,并将测试地址插入表内。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/queues/{queue_name}/connection-test
导入Flink作业保存点 功能介绍 导入Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/streaming
DLI Hudi元数据 DLI Hudi元数据说明 创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据(仅Spark 3.3.1及以上版本支持对接Lakeformation元数据),对接方式与Spark一致。 DLI
Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明,示例等信息请参考Spark官方文档。 表1 DLI Spark开源命令支持说明 功能描述 语法示例 DLI Spark 2.4.5 DLI Spark 3.3.1 创建数据库
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。
修改表分区位置(只支持OBS表) 功能描述 修改表分区的位置。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION
修改表分区位置(只支持OBS表) 功能描述 修改表分区的位置。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION
Spark 3.1.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
Raw Format 功能描述 Raw format 允许读写原始(基于字节)值作为单个列。 Raw Format将 null 值编码成 byte[] 类型的 null。这样在 upsert-kafka 中使用时可能会有限制,因为 upsert-kafka 将 null 值视为 墓碑消息
数据权限列表 DLI中SQL语句与数据库、表、角色相关的权限矩阵如表1所示。 表1 权限矩阵 分类 SQL语句 权限 说明 Database DROP DATABASE db1 database.db1的DROP_DATABASE权限 - CREATE TABLE tb1(...)
数据权限列表 DLI中SQL语句与数据库、表、角色相关的权限矩阵如表1所示。 表1 权限矩阵 分类 SQL语句 权限 说明 Database DROP DATABASE db1 database.db1的DROP_DATABASE权限 - CREATE TABLE tb1(...)
删除表(废弃) 功能介绍 该API用于删除指定的表。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1.0/{project_id}/databases/{database_name}/tables/{table_name
触发Flink作业保存点 功能介绍 触发Flink作业保存点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1.0/{project_id}/streaming
解绑队列 功能介绍 该API用于在增强型跨源中解绑已绑定的队列。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}
使用DataSource语法创建DLI表 功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符
CLEANING 命令功能 对Hudi表进行cleaning操作,具体作用可以参考Hudi Clean操作说明章节。 命令格式 call run_clean(table=>'[table]', clean_policy=>'[clean_policy]', retain_commits
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除
使用DLI Flink SQL进行电商实时业务数据分析 应用场景 当前线上购物无疑是最火热的购物方式,而电商平台则又可以以多种方式接入,例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标