检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark开源命令支持说明 本章节介绍了目前DLI对开源的Spark SQL语法的支持情况。详细的语法、参数说明,示例等信息请参考Spark官方文档。
辅助命令语法 DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA EXPLAIN 父主题: HetuEngine SQL语法
------------------------------------------------------------ web obs://bucket/user/hive/warehouse/web.db dli USER (1 row) 父主题: 辅助命令语法
步骤3:创建DWS数据库和表 参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。
参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。
请参考使用gsql命令行客户端连接DWS集群。 执行以下命令连接DWS集群的默认数据库“gaussdb”: gsql -d gaussdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。
请参考使用gsql命令行客户端连接DWS集群。 执行以下命令连接DWS集群的默认数据库“gaussdb”: gsql -d gaussdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。
max_col_len num_trues num_falses comment (1 row) 父主题: 辅助命令语法
}, "columnConstraints" : [ ] } ] } 父主题: 辅助命令语法
20210309_022835_00007_2i9yy@default@HetuEngine, FINISHED, 1 node Splits: 1 total, 1 done (100.00%) 0:01 [0 rows, 0B] [0 rows/s, 0B/s]; 父主题: 辅助命令语法
CONVERT TO DELTA 命令功能 CONVERT TO DELTA 命令将现有的 Parquet 表就地转换为 Delta 表。
TRUNCATE TABLE 命令功能 该命令将会把表中的数据清空。 命令语法 TRUNCATE TABLE tableIdentifier 参数描述 表1 TRUNCATE TABLE参数描述 参数 描述 tableIdentifier 表名。
DLI是否存在Apache Spark 命令注入漏洞(CVE-2022-33891)? 不存在。 DLI没有启动spark.acls.enable配置项,所以不涉及Apache Spark 命令注入漏洞(CVE-2022-33891)。
CREATE TABLE 命令功能 CREATE TABLE命令通过指定带有表属性的字段列表来创建Delta Table。 注意事项 在该命令中,IF EXISTS和db_name是可选配置。
错误的命令: select id from tb1 join tb2; 正确的命令: select tb1.id from tb1 join tb2; 父主题: SQL作业运维类
示例 run archivelog on h1; run archivelog on "obs://bucket/path/h1"; 注意事项 首先需要执行clean命令,在clean命令清理了历史的数据文件后,Timeline上与清理的数据文件对应的Instant才允许归档。
ADD COLUMNS 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE tableName ADD COLUMNS(col_spec[, col_spec ...])
注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上述命令将该新增的分区信息刷新到元数据库中,通过“SHOW PARTITIONS table_name”命令查看新增的分区。
ADD COLUMNS 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ADD COLUMNS命令用于为现有表添加新列。
SET 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。