检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
timestamp类型。 创建分区表时,分区字段必须是表字段的最后一个字段或几个字段,且多分区字段的顺序也必须对应。否则将出错。 单表分区数最多允许200000个。 2024年1月后新注册使用DLI服务的用户,且使用Spark3.3及以上版本的引擎,在使用DataSource语法创建表时支持使用CTAS创建分区表。
在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。 create database testdb; 在“SQL编辑器”中,数据库选择“testdb”,执行以下建表语句创建数据库下的表。详细的DLI建表语法可以参考创建DLI表。
ClickHouse结果表 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。
显示创建表语句:显示当前表的创建语句。 显示表信息:显示当前表的信息。 查询表:在当前表内查询数据。 删除表:删除当前表。 重命名表:对当前表重新命名。 插入:在当前表内插入数据。 重写:在当前表内插入覆盖数据。 添加列:在当前表中增加列。 赋权:当前用户可将表的权限赋予其他用户或项目。
BY:对全局进行单列或多列排序。与GROUP BY一起使用时,ORDER BY后面可以跟聚合函数。 注意事项 所排序的表必须是已经存在的,否则会出错。 示例 根据字段score对表student进行升序排序,并返回排序后的结果。 1 2 SELECT * FROM student ORDER
创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DW
资源所在的区域。 华东-上海二 实例名称 实例名称。 rds-demo 数据库引擎 MySQL MySQL 数据库版本 选用RDS for MySQL数据库时,请根据实际业务需求选择合适的数据库引擎版本。建议您选择当前可用的最高版本数据库,因其性能更稳定,安全性更高,使用更可靠。 8.0 实例类型
示例3:使用CTAS语句将源表的全部数据或部分数据创建新的DLI表 示例说明:根据示例1:创建DLI非分区表中创建的DLI表table1,使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候,可以忽略被复制的表在建表时所使用的语法,即不论在
单击目标表“操作”栏中的“更多”,选择“表属性”。 单击“预览”页签,即可预览该表数据。 在“SQL编辑器”页面预览数据。 在管理控制台左侧,单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏中,选择“数据库”页签。 鼠标左键单击对应数据库名,进入该数据库的表列表。 鼠标
rt”配置参数值。默认为:21425。 数据库名为ClickHouse集群创建的数据库名称。 connector.table 是 要创建的ClickHouse的表名。 connector.driver 否 连接数据库所需要的驱动。 如果建表时不指定该参数,驱动会自动通过ClickHouse的url提取。
指定分组的字段,支持单字段及多字段分组。 col_name_list 字段列表。 ORDER BY 对查询结果进行排序。 ASC/DESC ASC为升序,DESC为降序,默认为ASC。 CLUSTER BY 为分桶且排序,按照分桶字段先进行分桶,再在每个桶中依据该字段进行排序,即当DISTRIBUTE
HiveCatalog可以用来处理两种类型的表:Hive兼容表和通用表。 Hive兼容表是以Hive兼容的方式存储的,他们的元数据和实际的数据都在分层存储中。因此,通过flink创建的与hive兼容的表,可以通过hive查询。 Hive通用表是特定于Flink的。当使用HiveCatalog创建通用表时,只是使用
ble_name} 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待删除的表所在的数据库名称。 table_name 是
在DBeaver客户端单击“数据库 > 新建数据库连接”,选择步骤1:在DBeaver新建DLI JDBC驱动中创建的数据驱动。 图4 新建数据库连接 单击“完成”,即可连接到DLI。在“数据库导航”栏可查看到连接的数据库信息。 通过新建的连接即可对DLI执行后续的数据查询相关工作。 步骤3:在DBeaver编写SQL查询
select * from map_tb; -- {bar=2, foo=1} ROW ROW的字段可是任意所支持的数据类型,也支持各字段数据类型不同的混合方式。 --创建ROW表 create table row_tb (id int,col1 row(a int,b varchar));
BY的所有字段分组,所有字段都相同的记录将被放在同一组中,同样,GROUP BY中出现的字段必须在attr_expr_list的字段内,attr_expr_list也可以使用聚合函数。 注意事项 所要分组的表必须是已经存在的表,否则会出错。 示例 根据score及name两个字段对表student进行分组,并返回分组结果。
OpenTSDB结果表 功能描述 OpenTSDB是基于HBase分布式的 ,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
owner 是 String 表创建者。 table_name 是 String 表名称。 table_size 是 Long DLI表的大小。非DLI表该参数值为0。 table_type 是 String 表类型。 OBS表为EXTERNAL DLI表为MANAGED View为VIEW
设置DWS和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 连接DWS数据库实例,在DWS中创建相应的表,作为维表,表名为area_info,SQL语句如下: