检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
erved: 5/508/3 原因分析 当前访问的DWS数据库连接已经超过了最大连接数。错误信息中,non-active的个数表示空闲连接数,例如,non-active为508,说明当前有大量的空闲连接。 解决方案 出现该问题时建议通过以下操作步骤解决。 登录DWS命令执行窗口,
DOUBLE) COMMENT 'test' ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' WITH SERDEPROPERTIES ( 'serialization.format'
指定版本号恢复备份数据。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中,恢复非分区表test_table数据到版本20210930。
指定版本号恢复备份数据。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中,恢复非分区表test_table数据到版本20210930。
org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Permission denied for resource:
查看表 查看所有表 查看建表语句 查看表属性 查看指定表所有列 查看指定表所有分区 查看表统计信息 父主题: Spark SQL语法参考(即将下线)
查看表属性 功能描述 查看表的属性。 语法格式 1 SHOW TBLPROPERTIES table_name [('property_name')]; 关键字 TBLPROPERTIES:TBLPROPERTIES子句允许用户给表添加key/value的属性。 参数说明 表1
DOUBLE) COMMENT 'test' ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' WITH SERDEPROPERTIES ( 'serialization.format'
能替换并实时生效。 该功能开启当前需要提交工单开通白名单。 如果要在所有SQL队列上立即生效,需要分别选择SQL队列执行一遍:CREATE OR REPLACE xxx FUNCTION ...,否则没有执行的队列可能延迟0-12小时生效。 如果当前运行的作业中使用自定义函数F1
[0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号('')包围起来。 注意事项 若所查看的表不存在,将会出错。 示例 查看student表的所有列的列名与列数据类型。 1 DESCRIBE student; 父主题: 查看表
删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 创建DLI表相关语法 使用DataSource语法创建DLI表 使用Hive语法创建DLI表 删除表相关语法 删除表 查看表相关语法 查看所有表 查看建表语句
数据迁移 您可以通过云数据迁移服务CDM轻松的将其他云服务或者业务平台的数据迁移至DLI。包括以下最佳实践内容: 迁移Hive数据至DLI,具体请参考迁移Hive数据至DLI。 迁移Kafka数据至DLI,具体请参考迁移Kafka数据至DLI。 迁移Elasticsearch数据
合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。 数据迁移最佳实践 迁移Hive数据至DLI,具体请参考迁移Hive数据至DLI。 迁移Kafka数据至DLI,具体请参考迁移Kafka数据至DLI。 迁移Elasticsearch数据
以不包含所有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。 示例 查看student表下面的所有的分区。 1 SHOW PARTITIONS student; 查看student表中dt='2010-10-10'的分区。 1 SHOW
以不包含所有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。 示例 查看student表下面的所有的分区。 1 SHOW PARTITIONS student; 查看student表中dt='2010-10-10'的分区。 1 SHOW
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 问题现象 DLI分区内表导入了CSV文件数据,导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段,导致查询不到表数据。 问题根因 DLI分区内表在导入数据时,如果文件数据没
查询CSS表 SELECT命令用于查询CSS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 所查询的表必须是已经存在的表,否则会出错。
查看表的用户权限(废弃) 功能介绍 该API用于查询指定用户在表上的权限。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/
时区或本地时区在纪元时间和 LocalDateTime 之间进行转换。Hive 0.x/1.x/2.x 使用本地时区,但 Hive 3.x 使用 UTC 时区。 数据类型映射 目前,Parquet 格式类型映射与 Apache Hive 兼容,但与 Apache Spark 有所不同: Timestamp:不论精度,映射
举个例子,您可以设置 orc.compress=SNAPPY 来允许spappy压缩。 数据类型映射 Orc 格式类型的映射和 Apache Hive 是兼容的。下面的表格列出了 Flink 类型的数据和 Orc 类型的数据的映射关系。 表2 数据类型映射 Flink数据类型 Orc物理类型