检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表。 Flink 1.12新增支持小文件合并功能。 Flink 1.12新增支持Redis维表、RDS维表。 父主题： 版本支持公告
= 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername'
管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量，将作业开发过程中频繁使用的变量设置为全局变量，可以避免在编辑作业过程中重复定义，减少开发与维护成本。通过使用全局变量可以替换长难复杂变量，简化复杂参数，提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。
是 无 String 数据库的URL。 连接MySQL数据库时，格式为：jdbc:mysql://MySQLAddress:MySQLPort/dbName 。 连接PostgreSQL数据库时，格式为：jdbc:postgresql://PostgreSQLAddress:Po
源表，通过Redis维表将商品ID关联维表获取商品分类，并计算不同类别的商品销售金额，将计算结果写入 RDS（Relational Database Service，如 MySQL） 结果表中。 表信息如下： 源表：订单数据表，包含用户ID、商品ID、订单ID、订单金额等信息。 维
Already too many clients, active/non-active/reserved: 5/508/3 原因分析 当前访问的DWS数据库连接已经超过了最大连接数。错误信息中，non-active的个数表示空闲连接数，例如，non-active为508，说明当前有大量的空闲连接。
图2 选择连接器类型 选择“云数据库 MySQL”后单击“下一步”，配置云数据库 MySQL连接的参数。 单击“显示高级属性”可查看更多可选参数，具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操
使用JDBC作为数据源，Print作为sink，从RDS MySQL数据库中读取数据，并写入到Print中。 参考增强型跨源连接，根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组，添加入向规则使其对Flin
运行失败。 user RDS数据库用户名。 password RDS数据库用户名对应密码。 driver jdbc驱动类名，访问MySQL集群请填写："com.mysql.jdbc.Driver"，访问PostGre集群请填写："org.postgresql.Driver"。 partitionColumn
跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表，执行insert overwrite语句向RDS写入数据报错：DLI.0999: B
builder.appName("datasource-rds").getOrCreate() 通过DataFrame API 访问 连接参数配置 1 2 3 4 5 url = "jdbc:mysql://to-rds-1174404952-ZgPo1nNC.datasource
= 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername'
connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 访问数据库所需要的账号 connector
ka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储（可选）收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源，提供丰富多样的可视化组件，快速定制数据大屏。
appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT EXISTS dli_to_rds USING
创建DMS Kafka实例时，不能开启Kafka SASL_SSL。 已创建RDS MySQL实例。 本示例创建的RDS MySQL数据库版本选择为：8.0。 具体步骤可参考：购买RDS for MySQL实例。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步
= 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername'
全局变量的使用中，一个子账号是否可以使用其他子账号创建的全局变量 全局变量可用于简化复杂参数。例如，可替换长难复杂变量，提升SQL语句可读性。 全局变量的使用具有以下约束限制： 存量敏感变量只有创建用户才能使用，其余普通全局变量同账号同项目下的用户共用。 如果同账号同项目下存在多
SQL作业使用咨询 DLI是否支持创建临时表？ 问题描述：临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
