检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/redis.io/。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5
跨源分析 当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？
SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 Flink Opensource SQL如何解析复杂嵌套 JSON？ Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？ Flink Opensource SQL
概述 数据类型是数据的一个基本属性，用于区分不同类型的数据。不同的数据类型所占的存储空间不同，能够进行的操作也不相同。数据库中的数据存储在表中。表中的每一列都定义了数据类型，用户存储数据时，须遵从这些数据类型的属性，否则可能会出错。 DLI当前只支持原生数据类型。 父主题： 数据类型
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OBS
和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源 Password类型跨源认证支持连接的数据源如表1所示。 表1 Password类型跨源认证支持连接的数据源 作业类型
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
说明 connector 是 数据源类型，固定为：jdbc。 url 是 数据库的URL。 table-name 是 读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 数据库认证用户名，需要和'password'一起配置。
从PostgreSQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP
表名对大小写不敏感，即不区分大小写。 col_name 是 以逗号分隔的带数据类型的列名。 列名由字母、数字和下划线（_）组成。不能是纯数字，且至少包含一个字母。 列名为大小写不敏感，即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。 请参考原生数据类型。 col_comment 否 列字段描述。仅支持字符串常量。
INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时，会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“true”时，DLI不会提前删除分区，而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes
接状态。 增强型跨源创建后状态为“已激活”，但不能说明队列和数据源已连通。建议前往队列管理页面测试数据源网络是否打通。操作步骤如下： 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。
否 刷新数据的时间间隔，单位可以为ms、milli、millisecond/s、sec、second/min、minute等。 connector.write.max-retries 否 写数据失败时的最大尝试次数，默认值为：3。 示例 从dis中读取数据，并将数据插入到数据库为f
添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息 增强型跨源连接标签管理 删除增强型跨源连接 父主题： 配置DLI读写外部数据源数据
ClickHouse结果表 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。
LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理能力，支持无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 在DLI的Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理，本节操作介绍配置DLI与L
条件函数 函数说明 表1 条件函数 条件函数 函数说明 CASE value WHEN value1_1 [, value1_2 ]* THEN result1 [ WHEN value2_1 [, value2_2 ]* THEN result2 ]* [ ELSE resultZ
如果被授权的项目属于相同区域（region）的同一用户，则需使用当前账号切换到对应的项目下。 应用示例 项目B需要访问项目A上的数据源，对应操作如下。 对于项目A： 使用项目A对应的账号登录DLI服务。 通过对应数据源的VPC信息在DLI服务中创建增强型跨源连接“ds”。 将增强型跨源连接“ds”授权给项目B。
通弹性资源池的网段。 获取共享VPC下数据源的私有内网IP和端口。 以RDS数据源为例：在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”>“内网地址”，即可获取RDS内网地址。查看“连接信息”>“数据库端口”，获取RDS数据库实例端口。 在DLI管理控制台，单击“资源管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
