检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置新文件的监控时间间隔，并且必须设置 > 0 的值。 每个文件都有其路径唯一标识，一旦发现新文件，就会处理一次。 已处理的文件在 source 的整个生命周期内存储在 state 中，因此，source 的 state 在 checkpoint 和 savepoint 时进行保存。 更短的时间间隔意味着文件被更快
模板直接执行SQL操作。 登录DLI管理控制台。 在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1_价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。 管理弹性资源池 弹性资源池不支持切换区域。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列
应项目后，再按照本节的操作更新委托权限。 更新DLI委托权限（dli_management_agency） 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面，按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1
checkopoint；允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。以上场景的委托权限请参考常见场景的委托权限策略。 步骤1：在IAM控制台创建云服务委托并授权 登录管理控制台。 单击右上方登录的用户名，在下拉列表中选择“统一身份认证”。 在左侧导航栏中，单击“委托”。
登录GaussDB(DWS) 管理控制台。 在左侧导航栏中，单击“集群管理”。 在集群列表中找到所需要的集群，单击集群名称，进入集群“基本信息”页面。 单击“参数修改”页签，修改参数“session_timeout”，然后单击“保存”。 在“修改预览”窗口，确认修改无误后，单击“保存”。
配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。
登录DLI管理控制台，单击“作业管理 > SQL作业”，在对应报错作业的“操作”列，单击“编辑”进入到SQL编辑器页面。 单击“设置”，在参数设置中选择“spark.sql.autoBroadcastJoinThreshold”参数，其值设置为“-1”。 重新单击“执行”，运行该作业，观察作业运行结果。
订阅者。 登录SMN管理控制台。 在左侧导航栏，选择“主题管理 > 主题”。进入主题页面。 在主题列表中，选择您要向其添加订阅者的主题，在右侧“操作”栏单击“添加订阅”。 在添加订阅的对话框中，配置协议规则，“协议”下拉框中选择您需要的协议。 在“订阅终端”输入框中输入对应的订阅终端。
按照“CU时”收取计算费用，用户在弹性资源池添加的队列上运行作业时按照弹性资源池CU时计费。 适用于可预估队列使用量的场景、或测试项目等资源消耗不高的场景。 弹性资源池CU时套餐包的额度按订购周期重置。 存储量套餐包 按照存储在DLI服务中的数据存储量（单位为“GB”）收取存储费用。 适用于在DLI 存
密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。 了解数据加密服务。 在DEW创建通用凭据 本例以配置RDS实例访问凭据为例，介绍在DEW保存凭据，并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”，配置凭据基本信息
rownum < 2 来识别查询能否被翻译成窗口去重。 注意事项 Flink 只支持在滚动窗口、滑动窗口和累积窗口的窗口表值函数后进行窗口去重 窗口去重只支持根据事件时间属性进行排序 示例 本示例展示了在10分钟的滚动窗口上保持最后一条记录。 -- tables must have time
1（Spark通用队列场景）及以上版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Spark3.3.1版本、且已在作业中配置允许DLI访问DEW的委托信息。 自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面，选择配置优化参数，配置信息如下:
登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择待操作的增强型跨源连接，单击操作列的“更多 > 权限管理”。 授权： 在权限管理页面，权限设置选择“授权”。 输入项目ID。 单击“确定”，授予该项目弹性资源池的操作权限。 回收权限： 在权限管理页面，权限设置选择“回收”。
委托权限示例请参考自定义DLI委托权限和常见场景的委托权限策略。 仅支持Flink1.15版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。 在DLI管理控制台新建“增强型跨源连接”配置DLI与数据源的网络连通。 具体操作请参考增强型跨源连接。
配置执行作业读取的元数据类型。 在“添加数据源配置”页面工具栏中单击“测试连接”，测试通过后，单击“保存”，填写数据源名称，保存该数据源。 目前没有根目录保存权限，需保存到已建文件夹目录下。 步骤2：在YongHong BI创建DLI的数据集 在YongHong BI SaaS生
* from ... 在“数据湖探索管理控制台>SQL编辑器”页面，单击编辑窗口右上角“设置”，可配置参数。 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在INSERT语句后可加上“distribute
怎样创建“弹性资源池队列”？ 购买弹性资源池。 在DLI管理控制台，单击“资源管理 > 弹性资源池 ”。 在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 按需配置弹性资源池的相关参数，完成弹性资源池的购买。 在弹性资源池中创建队列。 创建完弹性资源池后，弹性资源池
操作步骤 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
