检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
在很多情况下,利用这个特性非常的有用,例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史,等等。
database DDS的数据库名,如果在"url"中同时指定了数据库名,则"url"中的数据库名不生效。 collection DDS中的collection名,如果在"url"中同时指定了collection,则"url"中的collection不生效。
≥0 队列 5分钟 flink_read_records_per_second Flink作业数据输入速率 展示用户Flink作业的数据输入速率,供监控和调试使用。
原生数据类型 DLI支持原生数据类型,请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648~2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' =
示例: Flink 实时消费用户订单数据的 Kafka 源表,通过Redis维表将商品ID关联维表获取商品分类,并计算不同类别的商品销售金额,将计算结果写入 RDS(Relational Database Service,如 MySQL) 结果表中。
URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。
authSource=admin" database DDS的数据库名,如果在"url"中同时指定了数据库名,则"url"中的数据库名不生效。
查看Delta表历史操作记录 命令格式 DESCRIBE HISTORY [database_name.]table_name|DELTA.
db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2" /* RDS数据下的表名 */
示例 RDS表用于与输入流连接。
database_name 是 String 待删除的表所在的数据库名称。 table_name 是 String 待删除的表名称。
query_statement select查询表达式 所需权限 SQL权限 表2 CREATE TABLE AS SELECT所需权限列表 权限描述 数据库的CREATE_TABLE权限 查询表的SELECT权限 细粒度权限:dli:database:createTable, dli
表2 元数据 Key 数据类型 说明 database STRING NULL 源数据库。对应于Canal记录中的database字段(如果可用)。 table STRING NULL 源数据库表。对应于Canal中的table字段(如果可用)。
图解数据湖探索
database_name 是 String 导入表所属的数据库名称。 table_name 是 String 导入表的名称。 with_column_header 否 Boolean 导入数据中的第一行数据是否包括列名,即表头。默认为“false”,表示不包括列名。
创建数据库db1 { "queue_name": "queue1", "sql": "create DATABASE db1" } 创建表tb1 { "currentdb": "db1", "queue_name": "queue1", "sql": "create table
表1 Password类型跨源认证支持连接的数据源 作业类型 表类型 数据源 Spark SQL - DWS、RDS、DDS、Redis Flink OpenSource SQL 源表 DWS、RDS、Redis 结果表 DWS、RDS、CSS、Redis 维表 DWS、RDS、Redis
从MySQL CDC源表读取数据写入到DWS 介绍使用Flink OpenSource SQL作业从MySQL CDC源表读取数据写入到DWS的开发示例。