检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 语法格式 1 2 3
单击需删除表的数据库名,进入该数据库的“表管理”页面。 选中目标表,单击“操作”栏中的“更多 > 删除表”。 在弹出的确认对话框中,单击“是”。 在“SQL编辑器”页面删除表。 在SQL作业管理控制台的顶部菜单栏中,选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签,鼠标左键
dynamicPartitionOverwrite.enabled”默认值为“false”,在不配置时它会覆盖整张表的数据。 详细说明请参考插入数据。 父主题: DLI数据库和表类
FileSystem结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全
DLI支持将Flink作业数据输出到ClickHouse数据库中,表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。
生影响,请谨慎操作。 步骤2:在LakeFormation管理控制台创建Catalog 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。您可以在LakeFormation中创建并管理多个Catalog,用于不同外部集群的元数据隔离。 登录LakeFormation管理控制台。
db_name 格式 无。 说明 数据库名称,仅支持字符串类型,名称长度不能超过128字节。 父主题: 标示符
DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
在实际使用过程中,开发人员创建了数据库和表,交给测试人员进行测试,测试人员测试完成后,再交给运维人员进行体验,在这种情况下,可以通过修改表的所有者,将数据转移给其他所有者。 修改表所有者 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要修改的表对应数据库名,进入该数据库的“表管理”页面。
from dataGenSource; 查看default数据库中,是否含有dataGenSource、printSink 表。 Hive Metastore 以小写形式存储所有元数据对象名称。 图1 查看default数据库 使用名为myhive的catalog中的元数据,新建Flink
DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
MSCK REPAIR TABLE table_name; 执行完上述命令后,再执行对应OBS分区表的数据查询即可。 父主题: DLI数据库和表类
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考:Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
LakeFormation资源权限支持列表与策略项 LakeFormation SQL资源权限支持列表 DLI支持SQL资源鉴权的操作列表请参考数据权限列表。 LakeFormation SQL资源权限支持列表请参考表1。 表1 LakeFormation SQL资源权限支持列表
CREATE VIEW语句 功能描述 根据给定的 query 语句创建一个视图。如果数据库中已经存在同名视图会抛出异常。 语法定义 CREATE [TEMPORARY] VIEW [IF NOT EXISTS] [catalog_name.][db_name.]view_name
db_comment 格式 无。 说明 对数据库的描述,仅支持字符串类型,描述长度不能超过256字节。 父主题: 标示符
单击需要设置权限的表所在的数据库名,进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”,将显示该表对应的权限信息。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。 单击“确定”,完成表权限设置。 父主题: DLI数据库和表类
因此,该问题为验证方式不正确造成。 参考信息 插入数据的SQL语法,请参考《数据湖探索Spark SQL语法参考》。 父主题: DLI数据库和表类