检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
12及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级，其取值为1-10，数值越大表示优先级越高。优先满足高优先级作业的计算资源，即如果高优先级作业计算资源不足，则会减少低优先级作业的计算资源 通用队列上运行的Flink作业优先级默认为5。 作业优先级的调整需要停止作业进行编辑，并提交运行才能生效。
成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用 DIS、CDM、OBS、DWS、RDS、CloudTable 图2 车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构
默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dyn
可以被分配在多个窗口。 例如：可以定义一个每5分钟滑动一次。大小为10分钟的窗口。每5分钟获得最近10分钟到达的数据的窗口,如下图所示： 图2 滑动窗口示例图 语法描述 HOP 函数通过时间属性字段为每一行数据分配了一个窗口。 在流计算模式，这个时间属性字段必须被指定为事件或处理
弹性资源池队列扩缩容策略的开始和结束时间范围。时间区间包括开始时间，不包括结束时间即[开始时间, 结束时间) 最小CUs 弹性资源池队列扩缩容策略配置的最小CU数。 最大CUs 弹性资源池队列扩缩容策略配置的最大CU数。 优先级 弹性资源池队列扩缩容策略的优先级。优先级范围为1到100，数字越小，优先级越低。
当弹性资源池中添加队列、删除队列时，会触发弹性资源扩缩容。 而弹性资源池缩容可能会触发缩容含有shuffle数据的节点，会导致Spark Task重算，引起Spark作业和SQL作业内部自动重试，当作业重试超过限制会导致作业执行失败，需用户重新执行作业。 Spark2.3版本作业
跨源连接创建慢，有以下几种可能： 购买DLI队列后，第一次进行绑定队列。通常需要等待5~10分钟，待后台拉起集群后，即可创建成功。 若刚刚对队列进行网段修改，立即进行绑定队列。通常需要等待5~10分钟，待后台重建集群后，即可创建成功。 父主题： 增强型跨源连接类
插入数据 功能描述 将SELECT查询结果或某条数据插入到表中。 约束限制 insert overwrite语法不适用于“自读自写”场景，该场景因涉及数据的连续处理和更新，如果使用insert overwrite语法可能存在数据丢失风险。 "自读自写"是指在处理数据时能够读取数据
弹性资源池Flink版本只支持1.10及其以上版本，如果准备分配到弹性资源池的作业使用Flink1.7版本可能会出现兼容性问题，需要提前做好Flink版本适配。 约束与限制 弹性资源池和队列均是可用状态。 队列是按需专属队列。 队列和弹性资源池状态正常，资源未被冻结。 弹性资源池仅支持关联同一企业项目的队列资源。
DLI请求条件 您可以在创建自定义策略时，通过添加“请求条件”（Condition元素）来控制策略何时生效。请求条件包括条件键和运算符，条件键表示策略语句的 Condition 元素，分为全局级条件键和服务级条件键。全局级条件键（前缀为g:）适用于所有操作，服务级条件键（前缀为服务缩写，如
'obs://bucket/path/h1'; run compaction on 'obs://bucket/path/h1'; 注意事项 使用API方式对SQL创建的Hudi表触发Compaction时需要添加参数hoodie.payload.ordering.field为preCombineField的值。
ata 由于作业在触发CheckPoint时才会往Hudi表中写数据，所以需要开启CheckPoint。CheckPoint间隔根据业务需要调整，建议间隔调大。 如果CheckPoint间隔太短，数据来不及刷新会导致作业异常；建议CheckPoint间隔为分钟级。 checkpo
源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：创建自定义策略。本章为您介绍常用的DLI自定义策略样例。 策略字段介绍 以授权用户拥有在所有区域中所有数据库的创建表权限为例进行说明：
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
帮助：跳转至帮助中心，为用户提供SQL语法参考。 简化流图 在OpenSource SQL作业编辑页面，单击“简化流图”按钮即可展示。 仅Flink 1.12和Flink 1.10版本支持查看简化流图。 图4 简化流图 静态流图 在OpenSource SQL作业编辑页面，单击“静态流图”按钮即可展示。
单击右上角的“创建作业”，在Spark作业编辑窗口，可以选择使用“表单模式”或者“API模式”进行参数设置。 以下以“表单模式”页面进行说明，“API模式”即采用API接口模式设置参数及参数值，具体请参考《数据湖探索API参考》。 选择运行队列。 在下拉列表中选择要使用的队列。 选择Spar
事件，请参考《云审计服务快速入门》中的相关章节。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DLI服务时，如果触发了监控列表中的关键操作，那么CTS会在记录操作日志的同时，向相关订阅者实时发送通知。
该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 DWS结果表中不允许指定所有属性为PRIMARY
等待5~10分钟，待后台拉起集群后，即可提交成功。 若刚刚对队列进行网段修改，立即进行SQL作业的提交。需要等待5~10分钟，待后台重建集群后，即可提交功。 按需队列，队列已空闲状态（超过1个小时），则后台资源已经释放。此时进行SQL作业的提交。需要等待5~10分钟，待后台重新拉起集群后，即可提交成功。
值。 0.1 hoodie.parquet.compression.codec parquet压缩编解码方式名称，默认值为gzip。可能的选项是[gzip | snappy | uncompressed | lzo] snappy hoodie.logfile.max.size
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
