检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需的计算资源。 DLI提供的设置作业优先级功能，可以对每个SQL设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 使用须知 对于每个作业都允许设置优先级，其取值为1-10，数值越大表示优先级越高。优先满足高优先级作业的计算资源，即如果高优先级作业计算资源不足，则会减少低优先级作业的计算资源
DLI作业桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶，并查看Flink作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。
在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后，将重新扫描Hive表以加载最新的数据。 参数 默认值
DLI作业桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶，并获取SQL作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。
DLI作业桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶，并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。
Flink作业字节输出总数 展示用户Flink作业字节的输出总数。单位：字节。 Flink作业CPU使用率 展示用户Flink作业的CPU使用率。单位：%。 Flink作业内存使用率 展示用户Flink作业的内存使用率。单位：%。 Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台，单击左侧“作业管理”>“Spark作业”，在作业列表中找到需要查看的Spark作业，单击“作业ID”前的，即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时，
件大小进行滚动，需要指定文件打开状态最长时间的超时以及文件关闭后的非活动状态的超时时间。对于Bulk Formats在每次创建Checkpoint时进行滚动，并且用户也可以添加基于大小或者时间等的其他条件。更多信息参考文件系统 SQL 连接器 在STREAMING模式下使用Fil
com 亚太-新加坡 ap-southeast-3 dli.ap-southeast-3.myhuaweicloud.com 父主题： API使用前必读
作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 Spark 2.4.5及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级，其取值为1-10，数值越大表示优先级越高。优先满足高优先级作业的计算资源，即如果高优先级作业计算资源不足，则会减少低优先级作业的计算资源
跨源认证权限管理 操作场景 通过跨源认证的用户授权，可设置分配不同的跨源认证，且不同用户的作业不影响跨源认证的使用。 使用须知 管理员用户和跨源认证的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其跨源认证权限。 给新用户设置跨源认证权限时，该用户所在用户组具有Tenant Guest权限。
JobManager CPU的使用 flink_taskmanager_Status_JVM_CPU_Load TaskManager CPU的负载 flink_taskmanager_Status_JVM_CPU_Time TaskManager CPU的使用 flink_jobma
本节操作介绍查看弹性资源池计算资源使用情况、作业所需CU数的查看方法。 怎样查看弹性资源池的资源使用情况？ 登录DLI管理管理控制台。 选择“资源管理 > 弹性资源池”。 在弹性资源池的列表页查看资源池的“实际CUs”和“已使用CUs”。 实际CUs：弹性资源池当前分配的可用CUs。 已使用CUs：当前弹性资源池已经被分配使用的CUs
Formats默认的策略是根据Part文件大小进行滚动，需要指定文件打开状态最长时间的超时以及文件关闭后的非活动状态的超时时间。对于Bulk Formats在每次创建Checkpoint时进行滚动，并且用户也可以添加基于大小或者时间等的其他条件。 在STREAMING模式下使用FileSink需要开启
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。 使用keytool工具生成keystore和truststore文件，其中需要使用到安全集群的安全证书（CloudSearchService.ce
HetuEngine SQL语法请参考HetuEngine SQL语法参考。 使用须知 该功能为白名单功能，如需使用，请在管理控制台右上角，选择“工单 > 新建工单”，提交申请。 DLI对接LakeFormation功能的使用依赖于“湖仓构建”服务的上线状态，如需了解“湖仓构建”服务的上线范围请参考全球产品和服务。
开启Kerberos认证时的相关配置文件 参考《从零开始使用Kerberos认证集群》中的“创建安全集群并登录其Manager”章节创建Kerberos认证集群。参考“创建角色和用户”章节添加用户并赋权。 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。
在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ 问题现象 Flink SQL作业创建表时，表名使用EL表达式，运行作业时报如下错误： DLI.0005: AnalysisException: t_user_message_input_#{
想要使用扫描套餐包计费，购买队列还要额外收费吗？ 按数据扫描量计费是针对默认default 队列，即使用default队列时，是按扫描量计费。 您单独购买的队列 ，可选择按需计费（按CU时计费）或包年包月计费。 具体的计费模式请参考：计费说明。 父主题： 计费相关问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
