检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BY：根据指定的字段进行分桶，支持单字段及多字段，不会在桶内进行排序。与SORT BY配合使用即为分桶后的排序。 注意事项 所排序的表必须是已经存在的，否则会出错。 举例 根据字段score对表student进行分桶。 1 2 SELECT * FROM student DISTRIBUTE BY score;
= 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername'
修改主机信息 功能介绍 该API用于在跨源中修改数据源主机信息，仅支持全量覆盖。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}
生命周期功能。 参数说明 表1 修改表的生命周期参数说明 参数名称 是否必选 参数说明 table_name 是 需要修改生命周期的表名。 dli.lifecycle.days 是 修改后的生命周期时间，只能为正整数，单位为天。 示例 示例1：修改表的生命周期，开启test_li
BY：根据指定的字段进行分桶，支持单字段及多字段，并在桶内进行排序。 注意事项 所排序的表必须是已经存在的，否则会出错。 示例 根据字段score对表student进行分桶并进行桶内局部降序排序。 1 2 SELECT * FROM student CLUSTER BY score; 父主题： 排序
'user'='root', //根据实际user修改 'password'='######', //根据实际password修改 'driver'='com.mysql.jdbc.Driver')") 创建表参数说明请参考表1。 插入数据 1 sparkSession
precombine.field' = 'vin', //合并字段 'write.tasks' = '10',
场景概述 用户使用Flink SQL作业时，需要创建OBS分区表，用于后续进行批处理。 操作步骤 该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。 1 2 3 4 5
CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS ( 'url'='jdbc:mysql://to-rds-1174405119-oLRHAGE7.datasource.com:5432/postgreDB', 'driver'='org
创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 FileSystem源表 父主题： 数据定义语句DDL
could be: t.id, t.id.; 出现这个提示，表示进行join操作的两个表中包含相同的字段，但是在执行命令时，没有指定该字段的归属。 例如：在表tb1和tb2中都包含字段“id”。 错误的命令： select id from tb1 join tb2; 正确的命令： select
修改全局变量 功能介绍 该API用于修改全局变量。 调试 您可以在API Explorer中调试该接口。 URI URI格式 PUT /v1.0/{project_id}/variables/{var_name} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明
创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 创建结果表 BlackHole结果表 ClickHouse结果表
SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启）
参考增强型跨源连接，在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列
DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert Kafka 父主题： Flink Opensource SQL1.15语法参考
通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql.shuffle
SQL作业执行完成后，修改表名导致datasize不正确怎么办？ 在执行SQL作业后立即修改表名，可能会导致表的数据大小结果不正确。 这是因为DLI在执行SQL作业时，会对表进行元数据更新，如果在作业执行完成前修改了表名，会和作业的元数据更新过程冲突，从而影响对数据大小的判断。
表示窗口时间间隔为10秒，请根据实际情况修改该时间值。 格式2：INTERVAL '10' MINUTE 表示窗口时间间隔为10分钟，请根据实际情况修改该时间值。 格式3：INTERVAL '10' DAY 表示窗口时间间隔为10天，请根据实际情况修改该时间值。 period_interval
表示窗口时间间隔为10秒，请根据实际情况修改该时间值。 格式2：INTERVAL '10' MINUTE 表示窗口时间间隔为10分钟，请根据实际情况修改该时间值。 格式3：INTERVAL '10' DAY 表示窗口时间间隔为10天，请根据实际情况修改该时间值。 period_interval
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
