检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hudi表。为了能够在文件大小和入湖速度之间进行权衡，Hudi提供了一个hoodie.parquet
系统级故障恢复 DLI系统采用存算分离的架构，计算集群基于K8s资源调度和故障切换机制，在系统故障时，支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制，在开启自动重启功能后，当作业出现异常时将自动重启恢复作业。 父主题： 安全
API快速入门 创建并提交SQL作业 创建并提交Spark作业 创建并提交Flink作业 创建并使用跨源链接
builder.appName("datasource-rds").getOrCreate() 通过DataFrame API 访问 连接参数配置 1 2 3 4 5 url = "jdbc:mysql://to-rds-1174404952-ZgPo1nNC.datasource
年或月或天），下游读取该表进行ETL计算时通常会使用时间范围进行裁剪（例如最近一天、一月、一年），这种表通常可以通过数据的创建时间来做分区以保证最佳读写性能。 维度表数据量一般整表数据规模较小，以更新数据为主，新增较少，表数据量比较稳定，且读取时通常需要全量读取做join之类的E
Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。
[EXTENDED|FORMATTED] [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`; 显示表详细信息： DESCRIBE DETAIL [database_name.]table_name|DELTA
这段时间内持续使用。 同样，也可以发现flink队列在2020-05-14 17:00:00 GMT+08:00到2020-05-28 10:00:00 GMT+08:00这段 内持续使用。 优化建议。 通过以上分析，了解到sql和flink这两个队列几乎是在持续使用的，建议通过
版本支持公告 DLI计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明 Spark2.4.x与Spark3.3.x版本差异对比
Kerberos类型跨源认证支持连接的数据源如表1所示。 表1 Kerberos类型跨源认证支持连接的数据源 作业类型 表类型 数据源 约束与限制 Flink OpenSource SQL 源表 HBase MRS安全集群已开启Kerberos认证。 Kafka MRS Kafka开启Kerberos认证。
提交作业时提示作业桶权限不足怎么办？ 问题描述 已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。
参数名称 是否必选 参数类型 说明 object 是 String 授权对象，和赋权API中的“object”对应。 "jobs.flink.flink作业ID"，查询指定的作业。 "groups.程序包组名"，查询指定的程序包组。 "resources.程序包名"，查询指定程序包。
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
增强型跨源连接相关API（废弃） 模板相关API（废弃） 表相关API（废弃） SQL作业相关API（废弃） 上传数据相关API（废弃） 集群相关API（废弃） Flink作业相关API（废弃） 经典型跨源连接相关API（废弃） IEF相关API（废弃）
下线（EOL）公告 DLI经典型跨源连接下线（EOL）公告 DLI Flink 1.10、Flink1.11版本停止服务（EOS）公告 DLI Spark 2.3.2版本停止服务（EOS）公告 DLI Flink 1.7版本停止服务（EOS）公告
Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业：配置Spark作业访问OBS中存储的数据。
IEF相关API（废弃） 创建IEF消息通道（废弃） 边缘Flink作业状态上报（废弃） 边缘Flink作业Action回调（废弃） IEF系统事件上报（废弃） 父主题： 历史API
lean_agency。 引擎版本低于Flink1.15，执行作业时默认使用dli_admin_agency；引擎版本低于Spark 3.3.1，执行作业时使用用户认证信息（AKSK、SecurityToken）。 即引擎版本低于Flink1.15和Spark 3.3.1版本的作
datasource.hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息，查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。
次调度之间存在大量空闲期。DLI按需计费只在使用期间收费，成本较独占队列降低50%以上。 建议搭配以下服务使用 OBS，DIS，DWS，RDS 图1 游戏运营数据分析 异构数据源联邦分析 车企数字化服务转型 面临市场新的竞争压力及出行服务不断变革，车企通过构建车联云平台和车机OS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
