检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置当前SQL防御规则动作的阈值参数。 SQL规则支持的类型： 提示：配置系统对SQL请求满足防御规则后是否进行日志记录和提示处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。 拦截：配置系统对SQL请求满足防御规则后是否进行拦截处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。 熔断
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。
CU设置操作 在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 选择要操作的弹性资源池，在“操作”列，单击“更多 > CU设置”。 在“CU设置”界面，“CU范围”参数中，左边为最小CU，右边为最大CU，根据情况分别设置。单击“确定”完成设置操作。 CU设置时怎样调大CU范围最小值？
VACUUM命令用于删除表目录中不由 Delta 管理的所有文件，并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值，建议设置为至少 7 天。 如果对 Delta 表运行VACUUM，则将无法再回头查看在指定数据保留期之前创建的版本。
Delta清理和优化 清理Delta表 可以对 Delta 表运行 VACUUM 命令，以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
包年包月弹性资源池设置了定时扩缩容时，怎样计费？ 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池（CU范围：64CUs），购买时长为一个月，在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上（假设每天累计12个小时实际CUs为128CUs
若DLI的队列、弹性资源池等资源不再使用，您可以将他们删除，以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能，当可用额度、通用代金券和现金券的总额度低于预警阈值时，系统自动发送短信和邮件提醒。 当产生欠费后，请您及时充值使可用额度大于0。若您的业务场景所需的资源
days 多版本中备份数据保留的日期。默认为7天，建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中，设置备份数据保留时间为5天。 1 2 ALTER TABLE
设置SQL作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个SQL设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
distinct.expandThreshold： 默认值：-1，即使用Spark默认的expand算子。 设置具体数值：即代表定义了查询膨胀的阈值（例如512），超过该阈值count(distinct) 使用distinct聚合算子来执行，不再使用expand算子。 spark.sql
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数：通过设置队列的Spark driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。
Hudi表满足hoodie.cleaner.commits.retained设置的阈值。如果是Flink写hudi，则至少提交的checkpoint要超过这个阈值；如果是批写Hudi，则批写次数要超过这个阈值。 建议 MOR表下游采用批量读模式，采用clean的版本数为compaction版本数+1。
设置Spark作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Spark作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
在“自定义配置”中输入如下语句，先开启动态扩缩容功能，再设置作业优先级。 对于Flink作业，必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容。 flink.dli
org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。 提交DLI Spark jar作业时，Hudi参数可以通过Spark datasource API的option来配置。
compaction命令时，禁止将hoodie.run.compact.only.inline设置成false，该值需要设置成true。 错误示例： 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on
”。 设置行动规则名称、类型、行动方式等信息。 详细参数说明请参考AOM-创建告警行动规则。 当资源触发对应的告警条件时，系统根据关联SMN主题根据关联SMN主题与消息模板来发送告警通知。 创建指标告警规则。 通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产
条件： Hudi表满足hoodie.keep.max.commits设置的阈值。如果是Flink写hudi至少提交的checkpoint要超过这个阈值；如果是Spark写hudi，写Hudi的次数要超过这个阈值。 Hudi表做过Clean，如果没有做过Clean就不会执行Archive。
directfetchthreshold 否 1000 请您根据业务情况判断返回结果数是否超过设置的阈值。 默认阈值1000。 dli-jdbc-1.x 创建Statement对象，设置相关参数并提交Spark SQL到DLI服务。 Statement statement = conn
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
