检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
源访问RDS的表数据。 操作流程 使用DLI提交SQL作业查询RDS MySQL数据操作流程如表1所示。 开始进行如下操作前，请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询RDS MySQL数据的操作流程 操作步骤 说明 步骤1：创建RDS MySQL实例 样例场景需要创建RDS
将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理
参数模板：Default-MySQL-8.0 只读实例：暂不购买 单击“立即购买”，确认规格信息。 单击“提交”，完成RDS实例的创建。 登录MySQL，并使用下述命令在flink库下创建orders表。 登录MySQL，单击“SQL窗口”，在SQL查询页面输入以下创建表语句，创建RDS MySQL表。
BY）、多表的关联（JOIN）等。 本示例通过创建MySQL CDC源表来监控MySQL的数据变化，并将变化的数据信息插入到DWS数据库中。 前提条件 已创建RDS MySQL实例。本示例创建的RDS MySQL数据库版本选择为：8.0。 具体步骤可参考购买RDS for MySQL实例。
MySql CDC 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 表1 支持类别 类别 详情 支持表类型 源表 前提条件 MySQL CDC要求MySQL版本为5.6，5.7或8.0.x。
SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？ 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理，通常该问题出现时Flink读取的时间和RDS数据库的时间会相差13小时。
注意事项 创建RDS关联表时，不需要指定关联表的Schema。DLI会自动获取RDS中对应参数"dbtable"中的表的Schema。 示例 访问MySQL 1 2 3 4 5 6 7 CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC
创建DLI队列时队列类型需要选择为“SQL队列”。 已创建云数据库RDS的MySQL的数据库实例。具体创建RDS集群的操作可以参考创建RDS MySQL数据库实例。 本示例RDS数据库引擎：MySQL 本示例RDS MySQL数据库版本：5.7。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。
试地址连通性根RDS的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 登录RDS MySQL，并使用下述命令在flink库下创建orders表，并插入数据。创建数据库的操作可以参考创建RDS数据库。 在flink数据库库下创建orders表： CREATE
connector.table 是 操作的表名。如果该DWS表在某schema下，则格式为：'schema\".\"具体表名'，具体可以参考示例说明。 connector.driver 否 jdbc连接驱动，默认为: org.postgresql.Driver。 DWS数据库版本为8
参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型，‘jdbc’表示使用JDBC connector，必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector
= 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername'
作业首先从订单数据源表读取实时订单数据，将订单数据流与商品商品类别信息维表关联起来，然后聚合统计订单总额，最后将统计结果写入结果表。 本例中订单表作为驱动源表输入，商品类别信息表作为静态维表，统计结果表作为作业最终输出。 Connector支持列表 表1 Connector支持列表 Connector
DLI是否支持创建临时表？ 问题描述：临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？
功能描述 JDBC连接器是Flink内置的Connector，提供了对MySQL、PostgreSQL等常见数据库的读写支持。表类型支持源表、结果表和维表。 表1 支持类别 类别 详情 支持表类型 源表、维表、结果表 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
中作为只读（虚拟）meta 列声明。 表2 元数据 Key 数据类型 说明 database STRING NULL 源数据库。对应于Maxwell记录中的数据库字段（如果可用）。 table STRING NULL 源数据库中的表。对应于Maxwell记录中的表字段（如果可用）。 primary-key-columns
Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal 默认使用 protobuf）。
类型的数据保持原状，不使用科学计数法表示。例：0.000000027 默认会表示为 2.7E-8。当此选项设为 true 时，则会表示为 0.000000027。 canal-json.database.include 否 (none) String 一个可选的正则表达式，通过正则匹配 Canal
否 false Boolean 将所有 DECIMAL 类型的数据保持原状，不使用科学计数法表示。例：0.000000027 默认会表示为 2.7E-8。当此选项设为 true 时，则会表示为 0.000000027。 元数据 元数据可以在 DDL 中作为只读（虚拟）meta 列声明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
