检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 若 watermark 的间隔是 0ms ，那么每条记录都会产生一个 watermark，且 watermark 会在不为空并大于上一个发出的
external.table.purge 否 仅OBS表支持配置该参数。 是否需要在删除表或分区时，清除path路径下的数据。默认不删除。 设置'external.table.purge'='true'时： 非分区OBS表配置删除文件后，表目录也会删除。 分区OBS表自定义分区数据也会删除。
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容，此参数默认值为false（注意，此配置项为表属性，请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列，建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
compaction命令时，禁止将hoodie.run.compact.only.inline设置成false，该值需要设置成true。 错误示例： 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable;
是否强制重启，“action”为“restart”时可选择配置，默认为“false”。 cu_count 否 Integer 扩容或者缩容的cu数。“action”为“scale_out”或者“scale_in”时可选择配置。“cu_count”必须是16的倍数。 响应消息 表3 响应参数
DLI跨源表执行insert操作时，会将DWS源表删除重建，客户没有对应更新DLI端跨源表建表语句，导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表，并添加建表配置项 truncate = true（只清空表数据，不删除表）。 建议与总结 在更新跨源目的端源表后，必须同时更新对应DLI跨源表。 父主题：
队列使用权限 数据权限 数据库权限 请参考在DLI控制台配置数据库权限和在DLI控制台配置表权限 请参考 《权限列表》。 表权限 列权限 作业权限 Flink作业 请参考配置Flink作业权限 无 程序包权限 程序包组权限 请参考配置DLI程序包权限 无 程序包权限 跨源认证权限 跨源认证权限
传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
Spark2.4.x：配置名为spark.launcher.childConectionTimeout Spark3.3.x：配置名修改为spark.launcher.childConnectionTimeout 升级引擎版本后是否对作业有影响： 有影响，配置参数名称变化。 Spark3
datasource.css。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 “Spark参数（--conf)” 配置 spark.driver.extraClassPath=/usr/share/extension/dli/spark-jar/datasource/css/*
数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在提交导入作业前，可选择设置导入数据的分区并配置是否是overwrite写入，分区信息可以调用ImportJob对象的setPartitionSpec接口设置，如：importJob.setPartitionSpec(new
登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项： dli.sql.join.preferSortMergeJoin（是否优先使用SortMergeJoin） dli.sql
份认证服务（IAM），选择对应子账户所在的用户组，确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。 确保您在DLI中配置的SMN主题名称和区域与实际创建的SMN主题一致。如果SMN主题名称不一致也会导致系统提示SMN主题不存在。 父主题： Flink作业咨询类
要的队列资源。 单击查看队列的详细信息。 关于队列引擎相关字段的含义： 执行引擎：负责执行队列中任务的引擎类型。 默认版本：执行引擎的默认配置版本，或者是在没有指定特定版本时系统将使用的版本。 支持版本：执行引擎支持的所有版本列表。通过查看队列的支持版本，您可以了解哪些版本的执行引擎可以用于处理队列中的任务。
文件的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有索引，是将行记录的存储位置记录到状态后端的一种索引形式，在
则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 如果 watermark 的间隔是 0ms ，那么每条记录都会产生一个 watermark，且 watermark 会在不为空并大于上一个发出的
SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 Kafka Sink配置发送失败重试机制 如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 作业语义检验时提示DIS通道不存在怎么处理？
DLI为BI工具提供了便捷的连接方法： DBeaver、DBT和YongHong BI，可以直接通过DLI提供的驱动连接到DLI。这简化了配置过程，使得用户能够直接利用这些工具的强大功能。 PowerBI、Fine BI、SuperSet、Tableau和Beeline，它们可以
比，能够对TB级数据实现秒级响应，极大提升了数据查询的效率。 Serverless资源开箱即用： Serverless服务模式无需关注底层配置、软件更新和故障问题，资源易维护，易扩展。 多种资源类型满足不同场景业务需求： 共享资源池：按量计费，提供极致的性价比资源。 独享资源池：提供独享资源池，满足高性能资源需求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
