检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高，不受表的数据量限制。Flink和Spark引擎都支持，Flink和Spark引擎可以实现交叉混写同一张表。 缺点：Bucket个数不能动态调整，数据量波动和整表数据量持续上涨会导致单个Bucket数据量过大出现大数据文件。需要结合分区表来进行平衡改善。 Flink状态索引 优
“包年/包月”和“按需计费”队列：固定资源规格，当作业任务对资源的请求量发生变化时，会导致队列资源浪费或者资源不足的问题。 弹性资源池队列：动态扩缩容，提高资源利用效率。 弹性资源池收费吗？弹性资源池中的队列收费吗？ 弹性资源池支持按需、包周期、套餐包的计费模式。您可以参考DLI计费说明了解更多弹性资源池计费信息。
当前规则有变量参数，需同时配置阈值。 单击“确定”完成规则的添加。 规则添加成功后，可以在“SQL防御”界面查看已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整，可单击对应规则所在“操作”列的“修改”，修改SQL防御规则。 DLI支持的SQL防御系统规则 本节操作介绍
edsconnection deleteRoute 创建批处理作业 jobs createBatch 取消批处理作业 jobs cancelBatch 创建全局变量 variable createGlobalVariable 删除全局变量 variable deleteGlobalVariable
启动模式时指定启动的时间戳（单位毫秒）。 scan.topic-partition-discovery.interval 否 无 Duration Consumer 定期探测动态创建的 Kafka topic 和 partition 的时间间隔。 结果表参数说明 表3 结果表参数说明 参数 是否必选 默认值 数据类型
典型场景示例：迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列
典型场景示例：迁移RDS数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移关系型数据库RDS数据至DLI。其他关系型数据库数据都可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。
典型场景示例：迁移Kafka数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Kafka数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的
典型场景示例：迁移Hive数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。其他MRS Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1：FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致： 登录DLI控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业的“操作”列，单击“更多 > 归档日志”。
创建增强型跨源连接 功能介绍 该API用于创建与其他服务的增强型跨源连接。 如果需要了解Console界面的使用方法，可参考《数据湖探索用户指南》中的“增强型跨源连接”。 系统default队列不支持创建跨源连接。 调试 您可以在API Explorer中调试该接口。 URI URI格式
启动位点时间戳。 scan.topic-partition-discovery.interval 否 无 Duration 消费者定期发现动态创建的Kafka主题和分区的时间间隔。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。
基本概念 弹性资源池 专属的计算资源，不同弹性资源上的计算资源完全隔离，弹性资源池内的不同队列资源可以共享，并可以根据队列资源负载配置策略进行分时弹性扩缩容，满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源，用于存储数据库和DLI表，是向DLI导入数
DLI支持的Prometheus基础监控指标 表1提供了DLI支持的Prometheus基础监控指标，AOM Prometheus支持免费存储基础指标。 除基础指标外，AOM Prometheus提供的自定义指标按计费规则付费使用。 表1 DLI支持的Prometheus监控指标
约束与限制 作业相关约束限制 DLI支持的作业类型：Spark SQL、SparkJar、Flink SQL、Flink Jar DLI支持的Spark版本：Spark 3.3.1、Spark 3.1.1（EOM）、Spark 2.4.5（EOM）、Spark 2.3（EOS） DLI支持的Flink版本：Flink
ationEnabled：用于控制是否启用自适应Skip partial agg功能。当设置为true时，Spark会根据运行时的统计数据动态决定是否跳过部分聚合。 spark.sql.aggregate.adaptivePartialAggregationInterval：该参
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
