检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源连接RDS表 创建DLI表关联RDS 插入数据至RDS表 查询RDS表 父主题： Spark SQL语法参考（即将下线）
跨源连接Oracle表 创建DLI表关联Oracle 插入数据至Oracle表 查询Oracle表 父主题： Spark SQL语法参考（即将下线）
更多资源相关约束限制请参考数据管理。 增强型跨源连接约束限制 在同一队列中，如果同时使用了经典型跨源连接和增强型跨源连接，则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。 DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
访问数据源 创建DLI跨源访问DWS的关联表，填写连接参数。 1 sparkSession.sql("CREATE TABLE IF NOT EXISTS dli_to_dws USING JDBC OPTIONS ('url'='jdbc:postgresql://10.0.0.233:8000/postgres'
rquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。 具体方法：在submit-job请求体conf字段中配置“dli.sql.files.maxPartitionBytes=33554432”。 该配置项默认值为128M
插入数据至RDS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定RDS表中。 语法格式 将SELECT查询结果插入到表中： 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下，这对于利用此功能很有用。 例如： 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE
自拓展输入流 自拓展输出流 - 流生态开发支持的数据格式 DLI Flink作业支持如下数据格式： Avro，Avro_merge，BLOB，CSV，EMAIL，JSON，ORC，Parquet，XML。 表4 数据格式和支持的输入输出流 数据格式 支持的输入流 支持的输出流 Avro -
15版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。 在DLI管理控制台新建“增强型跨源连接”配置DLI与数据源的网络连通。 具体操作请参考增强型跨源连接。 语法格式 create table tableName(
Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表。 Flink 1.12新增支持小文件合并功能。 Flink 1.12新增支持Redis维表、RDS维表。
增强型跨源连接收费吗？ 增强型跨源连接不计费。 怎样创建增强型跨源连接？ 在DLI管理控制台，单击“跨源管理 > 增强型跨源 ”。 选择“增强型跨源”，单击“创建”。 配置增强型跨源连接的信息请参考创建增强型跨源连接。 创建完成后，增强型跨源连接的状态显示“已激活”，代表该连接创建成
输出通道类型，rds表示输出到关系型数据库中。 username 是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址，格式为："{database_type}://ip:port/database" 目前支持两种数据库连接：MySQL和PostgreSQL
步骤3：创建RDS数据库和表 登录RDS管理控制台，在“实例管理”界面，选择已创建的RDS MySQL实例，选择操作列的“更多 > 登录”，进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。单击“登录”，即可进入RDS MySQL数据库并进行管理。 在数据库实例界面，单击“
默认值：反斜杠(\) 日期格式 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”，该参数表示表中日期的格式，默认格式为“yyyy-MM-dd”。日期格式字符定义详见加载数据中的“表3 日期及时间模式字符定义”。 2000-01-01 时间戳格式 当“文件格式”为“CSV”和“JSON”时此参数有效。
appName("datasource-dws").getOrCreate() 通过DataFrame API访问数据源 连接参数配置 1 2 3 4 5 url = "jdbc:postgresql://to-dws-1174404951-W8W4cW8I.datasource.com:8000/postgres"
选择对应的企业项目。 单击“下一步”，配置队列的扩缩容策略。 单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图3所示。 图3 添加队列时配置扩缩容策略 表3 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中
配置时间模型 Flink中主要提供两种时间模型：Processing Time和Event Time。 DLI允许在创建Source Stream和Temp Stream的时候指定时间模型以便在后续计算中使用。 配置Processing Time Processing Time是
跨源连接DCS表 创建DLI表关联DCS 插入数据至DCS表 查询DCS表 父主题： Spark SQL语法参考（即将下线）
查询所有表（废弃） 功能介绍 该API用于查询指定数据库下符合过滤条件的或所有的表信息。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases/{database_name}/tables
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时，OBS路径须指定到数据库下的具体表层路径。路径格式为：obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
