数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
CREATE DATABASE语句 功能描述 根据给定的表属性创建数据库。如果数据库中已存在同名表会抛出异常。
在DLI控制台删除数据库 当数据库不再使用,例如测试数据库测试结束后;数据库存在错误或异常,无法修复;需要重新整理数据结构,如调整表设计;数据库空闲无实际用途,优化资源利用等场景,您都可以在DLI控制台删除不再使用的数据库。 本节操作介绍在DLI管理控制台删除数据库的操作步骤。
表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 创建DLI表相关语法 使用DataSource语法创建DLI表 使用Hive
例如:jdbc:postgresql://to-rds-1174405119-oLRHAGE7.datasource.com:3306/postgreDB dbtable 访问MySQL集群填写"数据库名.表名",访问PostGre集群填写"模式名.表名"。
1 REVOKE DROP_DATABASE ON databases.db1 FROM USER user_name1; 回收用户user_name1对于数据库db1的表tb1的SELECT权限。
{ "database_name": "db1", "description": "this is for test" } 响应示例 { "is_success": true, "message": "" } 状态码 状态码如表5所示。
weight DECIMAL(10, 2) ) with ( 'connector' = 'print' ); insert into printSink select * from kafkaSource; 向kafka的相应topic中插入下列数据: { "database
MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DCS: sys.datasource.redis CSS: sys.datasource.css DLI内部相关模块: sys.res.dli-v2 sys.res.dli
配置凭据基本信息 本例配置Mysql的凭据值: "MySQLUsername":"demo" "MySQLPassword":"*******",其中"*******"为Mysql的访问密码 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。
canal-json.database.include 否 (none) String 仅读取指定数据库的 changelog 记录(通过对比 Canal 记录中的 "database" 元数据字段)。
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。
Maxwell Format 功能描述 Maxwell是一个CDC(Changelog Data Capture)工具,可以将MySql中的更改实时流式写入到Kafka等流式connector。
示例: Flink 实时消费用户订单数据的 Kafka 源表,通过Redis维表将商品ID关联维表获取商品分类,并计算不同类别的商品销售金额,将计算结果写入 RDS(Relational Database Service,如 MySQL) 结果表中。
数据库相关 创建数据库 删除数据库 查看指定数据库 查看所有数据库
例如MySQL中可以通过:“create temporary table ...” 语法来创建临时表,通过该表存储临时数据,结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能? 解决措施:当前DLI不支持创建临时表功能,只能根据当前业务逻辑控制来实现相同功能。
数据类型映射 表1 数据类型映射 MySQL类型 PostgreSQL类型 Flink SQL类型 TINYINT - TINYINT SMALLINT TINYINT UNSIGNED SMALLINT INT2 SMALLSERIAL SERIAL2 SMALLINT INT
DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 DWS的更多信息,请参见《数据仓库服务管理指南》。
dli_queue:队列 dli_elastic_resource_pool:弹性资源池 dli_enhanced_datasource:增强型跨源连接 dli_database:数据库 dli_package_resource:资源包(不支持指定有Module ID的内置资源包)
DATABASE上可赋权/回收的权限: DROP_DATABASE(删除数据库) CREATE_TABLE(创建表) CREATE_VIEW(创建视图) EXPLAIN(将SQL语句解释为执行计划) CREATE_ROLE(创建角色) DROP_ROLE(删除角色) SHOW_ROLES
您即将访问非华为云网站,请注意账号财产安全