检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下，这对于利用此功能很有用。 例如： 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE
队列和数据库。 执行以下语句，查看作业中表的文件数量。“表名”替换为具体问题作业中的表名称。 select count(distinct fn) FROM (select input_file_name() as fn from 表名) a 如果小文件过多，则可以参考如何合并小文件来进行处理。
表继承数据库权限后，对表重复赋予已继承的权限会报错吗？ 当表继承了数据库的权限时，无需重复对表赋予已继承的权限。 因为继承的权限已经足够使用，重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时： 如果“用户授权”赋予表的权限与继承权限相同，系统会提示已有该权限无需重复操作。
DELETE 消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用，例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史，等等。 Flink 还支持将 Flink SQL 中的 INSERT / UPDATE / DELETE
包括Flink作业的ID、作业类型、作业执行状态等信息。 查看Flink作业基本信息 Flink作业详情 包括作业的SQL语句和参数设置信息，Jar作业支持查看参数设置信息。 查看Flink作业详情 Flink作业监控 通过云监控服务（CES）查看作业数据输入输出的详细信息。 查看Flink作业监控 Flink作业任务列表
DELETE 消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用，例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史，等等。 Flink 还支持将 Flink SQL 中的 INSERT / UPDATE / DELETE
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后，您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
SQL作业相关问题 如何理解DLI分区表的列赋权？ 如何避免字符码不一致导致的乱码？ OBS表压缩率较高 更多 跨源连接相关问题 Flink作业如何进行性能调优？ 更多 Spark作业相关问题 如何查看DLI Spark作业的实际资源使用情况 Spark队列操作OBS表如何设置AK/SK？
为什么在DLI控制台中查询不到表？ 问题现象 已知存在某DLI表，但在DLI页面查询不到该表。 问题根因 已有表但是查询不到时，大概率是因为当前登录的用户没有对该表的查询和操作权限。 解决措施 联系创建该表的用户，让该用户给需要操作该表的其他用户赋予查询和操作的权限。赋权操作如下：
"error_code": "AS.0001" } 其中，error_code表示错误码，error_msg表示错误描述信息。 父主题： 如何调用API
怎样查看DLI的执行SQL记录？ 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题： SQL作业开发类
功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 前提条件
DELETE 消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用，例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史，等等。 参数说明 表1 参数 是否必选 默认值 是否必选 描述 format 是 (none)
SS_META) 解决方案 需要给执行作业的用户赋数据库的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理”>“库表管理”。 单击所选数据库“操作”栏中的“权限管理”，将显示该数据库对应的权限信息。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中
jdbc驱动类名，访问MySQL集群请填写："com.mysql.jdbc.Driver"，访问PostGre集群请填写："org.postgresql.Driver"。 dbtable 访问MySQL集群填写"数据库名.表名" 注意： 连接的RDS数据库名不能包含中划线-或^特殊字符，否则会创建表失败。
该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS table_name”命令查看新增的分区。 分区目录名称必须按照指定的格式输入，即“tablepath/partition_colu
SHOW语法使用概要 SHOW语法主要用来查看数据库对象的相关信息，其中LIKE子句用来对数据库对象过滤，匹配规则如下，具体示例可参看SHOW TABLES： 规则1：_可以用来匹配单个任意字符。 规则2：%可以用来匹配0个或者任意个任意字符。 规则3：* 可以用来匹配0个或者任意个任意字符。
DLI支持将Flink作业数据输出到ClickHouse数据库中，表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
