检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分区（版本）。 最新分区（版本）由 'streaming-source.partition-order' 选项定义。 这是在Flink 流应用作业中将 Hive 表用作维度表的最常见用例。 注意事项 使用Temporal join关联维表的最新分区，仅在Flink STREAMING模式下支持。
描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS
后导入DIS通道，进行后续处理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪
Flink Jar作业开发基础样例 概述 用户可以基于Flink的API进行二次开发，构建自己的应用Jar包，提交到DLI队列运行，实现与MRS Kafka、HBase、Hive、HDFS，DWS，DCS等数据源的交互。 本章节以通过自定义作业与MRS进行交互为例进行说明。 更多样例代码请通过DLI样例代码获取。
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后，仅支持从DLI作业桶读取查询结果，如需使用该特性需具备以下条件：
DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI和MRS都支持Spark组件，但在服务模式、接口方式、应用场景和性能特性上存在一些差异。 DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 DLI的
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考：Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
Flink作业高可靠推荐配置指导（异常自动重启） 操作场景 本节操作介绍创建Flink作业时，配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。
例为默认实例。 LakeFormation中每一个数据目录只能创建一个映射，不能创建多个。 例如用户在DLI创建了映射名catalogMapping1对应LakeFormation数据目录：catalogA。创建成功后，在同一个项目空间下，不能再创建到catalogA的映射。 登录DLI管理控制台。
接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域（region）的不同用户，则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域（region）的同一用户，则需使用当前账号切换到对应的项目下。 应用示例 项目
确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。 去掉OBS依赖，否则checkpoint会写不进OBS。 父主题： Flink Jar作业类
在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶，日志桶不能用于DLI的其他业务功能中。 确认桶是否应用于其他业务功能。 如果是，您可以在DLI管理控制台页面更改作业配置，选择其他未被占用的OBS桶用于DLI日志存储。 父主题： Spark作业运维类
检验是否配置成功，运行cmd ，输入 python。运行结果，请参见图1，显示版本信息，则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error: Microsoft Visual C++ xx.x is required. Get it with Build
如何选择可用区？ 是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资
x及以上版本只能选择OBS路径下的程序包。 主类（--class） 输入主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 应用程序参数 用户自定义参数，多个参数请以Enter键分隔。 应用程序参数支持全局变量替换。例如，在“全局配置”>“全局变量”中新增全局变量key为
异常场景时，支持从checkpoint恢复。 但是如果修改了作业的运算逻辑，作业的计算逻辑已发生更改，不支持从checkpoint恢复。 应用场景 本文列举了一些常见的从checkpoint恢复的场景供您参考，如表1所示。 更多场景可以使用从checkpoint恢复的原则结合实际情况进行判断。
PG_TERMINATE_BACKEND(pid) from pg_stat_activity WHERE state='idle'; 检查应用程序是否未主动释放连接，导致连接残留。建议优化代码，合理释放连接。 在GaussDB(DWS) 控制台设置会话闲置超时时长session_
tgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 DWS的更多信息，请参见《数据仓库服务管理指南》。 DLI Flink 1.15版本支持两种DWS Conne
x版本中使用Mesos作为资源管理器，升级到Spark 3.3.x后，你需要考虑切换到其他资源管理器。 Spark3.3.x会在应用程序自行终止时删除K8s driver 说明：Spark3.3.x会在应用程序自行终止时删除K8s driver。 升级引擎版本后是否对作业有影响： 功能增强，升级到Spark
Hive表的BATCH和STREAM。Flink可以作为Hive批处理引擎的更高效的替代方案，或者用于连续读写Hive表，以支持实时数据仓库应用程序。Apache Flink Hive Read & Write 功能描述 本节介绍利用Flink来读写Hive的表。Hive源表的定义
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
