-
MySQL CDC源表 - 数据湖探索 DLI
MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
-
MySQL CDC源表 - 数据湖探索 DLI
MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
-
将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ - 数据湖探索 DLI
将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理
-
Spark作业访问MySQL数据库的方案 - 数据湖探索 DLI
Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案： 方案1：在DLI中创建队列，队列计费模式为包年/包月队列或按需专属，创建增强型跨源连接，再通过跨源表读取MySQL数据库中的数据，该方案需要用户自行编写java代码或scala代码。
-
从MySQL CDC源表读取数据写入到DWS - 数据湖探索 DLI
BY）、多表的关联（JOIN）等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例，具体步骤可参考：RDS MySQL快速入门。本示例创建的RDS MySQL数据库版本选择为：8.0。 已创建DW
-
创建增强型跨源连接访问RDS - 数据湖探索 DLI
创建增强型跨源连接访问RDS 操作场景 本例以Spark SQL作业访问RDS数据库表为例，介绍DLI服务创建增强型跨源连接访问RDS的操作步骤。 操作流程 创建增强型跨源连接访问云数据库RDS，样例场景需要创建RDS MySQL实例，RDS数据库表，以及DLI增强型跨源连接，通过Spark
-
创建DLI表关联RDS - 数据湖探索 DLI
rds-1174405119-oLRHAGE7.datasource.com:3306/postgreDB driver jdbc驱动类名，访问MySQL集群请填写："com.mysql.jdbc.Driver"，访问PostGre集群请填写："org.postgresql.Driver"。
-
RDS输出流 - 数据湖探索 DLI
username 是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址，格式为："{database_type}://ip:port/database" 目前支持两种数据库连接：MySQL和PostgreSQL MySQL: 'mysql://ip:port/database'
-
RDS输出流 - 数据湖探索 DLI
输出通道类型，rds表示输出到关系型数据库中。 username 是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址，格式为："{database_type}://ip:port/database" 目前支持两种数据库连接：MySQL和PostgreSQL MySQL:
-
JDBC维表 - 数据湖探索 DLI
参考增强型跨源连接，在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地
-
迁移RDS数据至DLI - 数据湖探索 DLI
创建DLI队列时队列类型需要选择为“SQL队列”。 已创建云数据库RDS的MySQL的数据库实例。具体创建RDS集群的操作可以参考创建RDS MySQL数据库实例。 本示例RDS数据库引擎：MySQL 本示例RDS MySQL数据库版本：5.7。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如
-
创建DLI表关联RDS - 数据湖探索 DLI
rg.postgresql.Driver"。 dbtable 访问MySQL集群填写"数据库名.表名" 注意： 连接的RDS数据库名不能包含中划线-或^特殊字符，否则会创建表失败。 访问PostGre集群填写"模式名.表名" 说明： 模式名即为数据库模式（schema）的名称。数
-
创建RDS表 - 数据湖探索 DLI
username 是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址，格式为："{database_type}://ip:port/database" 目前支持两种数据库连接：MySQL和PostgreSQL MySQL: 'mysql://ip:port/database'
-
内连接 - 数据湖探索 DLI
JOIN：只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表，否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接，来查看学生姓名及所选课程名称。
-
JDBC - 数据湖探索 DLI
String 指定要使用的连接器，当前固定为'jdbc'。 url 是 无 String 数据库的URL。 连接MySQL数据库时，格式为：jdbc:mysql://MySQLAddress:MySQLPort/dbName 。 连接PostgreSQL数据库时，格式为：jdbc:p
-
创建RDS表 - 数据湖探索 DLI
输出通道类型，rds表示输出到关系型数据库中。 username 是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址，格式为："{database_type}://ip:port/database" 目前支持两种数据库连接：MySQL和PostgreSQL MySQL:
-
JDBC源表 - 数据湖探索 DLI
'url' = 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--flink为RDS MySQL创建的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername', 'password'
-
JDBC结果表 - 数据湖探索 DLI
'connector.url' = 'jdbc:mysql://xx.xx.xx.xx:3306/xx', 'connector.table' = 'jdbc_table_name', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector
-
JDBC结果表 - 数据湖探索 DLI
'connector.url' = 'jdbc:mysql://xx.xx.xx.xx:3306/xx', 'connector.table' = 'jdbc_table_name', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector
-
Debezium Format - 数据湖探索 DLI
Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
