检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
15版本所做的变更说明。 更多Flink 1.15版本说明请参考Release Notes - Flink Jar 1.15、Flink OpenSource SQL1.15版本使用说明。 Flink 1.15版本发布时间 版本名称 发布时间 状态 EOM时间 EOS时间 DLI Flink 1.15 2023年6月
使得数据可以被有效地查询和分析。 数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 用户可通过管理控制台或SQL语句创建数据库和表，其中SQL语句的操作方法请参见创建数据库、创建OBS表和创建DLI表等。本章节介绍在管理控制台创建数据库和表的操作步骤。 创建数据库
创建Kafka_SSL类型跨源认证 操作场景 通过在DLI控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认
更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.12版本说明 Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表。 Flink 1.12新增支持小文件合并功能。
手动在OBS表的分区目录下添加了数据，但是无法查询到数据怎么办？ 问题现象 手动在OBS表的分区目录下上传了分区数据，但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE
如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite.enabled=true，然后通过insert overwrite语句实现。 “dli.sql.dynamicPartitionOverwrite.enabl
Flink作业如何保存作业日志？ 在创建Flink SQL作业或者Flink Jar作业时，可以在作业编辑页面，勾选“保存作业日志”参数，将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OB
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证，将数据源的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问数据源。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时
Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 （推荐）DLI SDK V3：是根据定义AP
Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景，简化了流处理的复杂性，使得开发者可以更加专注于业务逻辑的实现。 创建Flink OpenSource SQL请参考创建Flink OpenSource SQL作业。 Flink Jar作业：
Z容灾能力。 用户仅编写SQL代码，无需编译，只需关心业务代码。 支持用户通过编写SQL连接各个数据源，如RDS、DWS、Kafka、Elasticsearch等数据源; 用户无需登录维护集群，在控制台上完成一键提交，无需接触集群。 支持Flink SQL作业快速开启checkpoint。
示。 表1 Password类型跨源认证支持连接的数据源 作业类型 表类型 数据源 Spark SQL - DWS、RDS、DDS、Redis Flink OpenSource SQL 源表 DWS、RDS、Redis 结果表 DWS、RDS、CSS、Redis 维表 DWS、RDS、Redis
DLI增强型跨源连接DWS失败怎么办？ 问题现象 客户创建增强型跨源连接DLI和DWS，安全组已配置出方向规则到关联队列，使用的是密码形式的跨源认证，报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下： 安全组配置不正确 子网配置不正确
概述 DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文
用LakeFormation元数据。 DLI SQL： LakeFormation SQL语法说明请参考DLI Spark SQL语法参考。 在执行SQL作业时，您可以在控制台选择执行SQL所在的catalog，如图2所示，或在SQL命令中指定catalogName。catalo
页面。 在目标表“操作”栏中选择“更多”中的“导入”，弹出“导入数据”页面。 图1 导入数据 在“SQL编辑器”页面导入数据。 在管理控制台的左侧，单击“SQL编辑器”。 在“SQL编辑器”页面左侧导航栏选择“数据库”页签，鼠标左键单击需要导入数据的表对应的数据库名，进入“表”区域。
即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es.certificate.name字段配置跨源认证信息名称，配置连接安全CSS集群。 创建完跨源认证，可以参考创建DLI表关联CSS使用Spark SQL来创建访问CSS的表。 父主题： 使用DLI的跨源认证管理数据源访问凭证
删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权吗？ 问题场景 A用户通过SQL作业在某数据库下创建了表testTable，并且授权testTable给B用户插入和删除表数据的权限。后续A用户删除了表testTable，并重新创建了同名的表testTable，如果希
管理Spark作业模板 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。
job_type 否 String Flink作业模板类型。默认值为"flink_sql_job"，若填写则只能为"flink_sql_job"或者"flink_opensource_sql_job"。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
