检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当您在提交导入数据到DLI表的作业时，如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高，超过了5倍的压缩率，您可以通过调整配置来优化作业的性能。
DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到Flink 1.12版本？ 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。 在DLI管理控制台，单击“作业管理 > Flink作业”。
数据湖探索 DLI 介绍怎样创建提交Flink作业 04:26 数据湖探索Flink作业入门指导 数据湖探索 DLI 介绍怎样创建提交Spark作业 02:54 数据湖探索Spark作业入门指导 数据湖探索 DLI 介绍怎样使用Flink SQL进行电商实时业务数据分析 23:40
参考创建Flink OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，提交运行作业。
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
步骤4：授权使用LakeFormation资源 SQL作业场景 在进行SQL作业提交之前，需完成LakeFormation元数据、数据库、表、列和函数等资源授权，确保作业在执行过程中能够顺利访问所需的数据和资源。
前提条件 Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。
前提条件 Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。
以SQL作业为例： 单击“作业管理 > SQL作业”。 在作业管理控制台页面筛选使用default队列的作业。 单击展开作业详情，查看作业扫描量。 图1 配置费用示例 计费示例 价格仅供参考，实际计算请以数据湖探索价格详情中的价格为准。
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。
参考创建Flink OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，提交运行作业。
配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成，由于初始化数据量通常较大，因此推荐使用API方式给充足资源来完成。
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量，将作业开发过程中频繁使用的变量设置为全局变量，可以避免在编辑作业过程中重复定义，减少开发与维护成本。通过使用全局变量可以替换长难复杂变量，简化复杂参数，提升SQL语句可读性。
TIMESTAMP) | | ------------- | | 1514736001000 | 语句： SELECT cast(content as date) FROM T1; 结果： "2018-01-01" Flink作业不支持使用
表1 Password类型跨源认证支持连接的数据源 作业类型 表类型 数据源 Spark SQL - DWS、RDS、DDS、Redis Flink OpenSource SQL 源表 DWS、RDS、Redis 结果表 DWS、RDS、CSS、Redis 维表 DWS、RDS、Redis
表3 建表时与Kerberos类型跨源认证关联的字段 作业类型 数据源 参数 是否必选 数据类型 说明 Flink OpenSource SQL HBase krb_auth_name 否 String 创建源表、结果表、维表时均使用该字段关联跨源认证。
欠费后，资源进入宽限期，不能在DLI服务中提交作业，包括SQL作业，Spark作业和Flink作业。您需支付按需资源在宽限期内产生的费用，相关费用可在“管理控制台 > 费用中心 ＞ 总览”的“欠费金额”查看，华为云将在您充值时自动扣取欠费金额。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
