检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列使用权限 数据权限 数据库权限 请参考在DLI控制台配置数据库权限和在DLI控制台配置表权限 请参考 《权限列表》。 表权限 列权限 作业权限 Flink作业 请参考配置Flink作业权限 无 程序包权限 程序包组权限 请参考配置程序包权限 无 程序包权限 跨源认证权限 跨源认证权限
external.table.purge 否 仅OBS表支持配置该参数。 是否需要在删除表或分区时，清除path路径下的数据。默认不删除。 设置'external.table.purge'='true'时： 非分区OBS表配置删除文件后，表目录也会删除。 分区OBS表自定义分区数据也会删除。
方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka
DLI跨源表执行insert操作时，会将DWS源表删除重建，客户没有对应更新DLI端跨源表建表语句，导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表，并添加建表配置项 truncate = true（只清空表数据，不删除表）。 建议与总结 在更新跨源目的端源表后，必须同时更新对应DLI跨源表。 父主题：
业。 DLI配置SparkUI只展示最新的100条作业信息。 控制台界面查询结果最多显示1000条作业结果数据，如果需要查看更多或者全量数据，则可以通过该功能将数据导出到OBS获取。 导出作业运行日志需要具有OBS桶的权限，请提前在“全局配置 > 工程配置”页面配置DLI作业桶。
SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项： dli.sql.join.preferSortMergeJoin（是否优先使用SortMergeJoin） dli.sql
C Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
份认证服务（IAM），选择对应子账户所在的用户组，确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。 确保您在DLI中配置的SMN主题名称和区域与实际创建的SMN主题一致。如果SMN主题名称不一致也会导致系统提示SMN主题不存在。 父主题： Flink作业咨询类
和分组操作中可以被重写的操作。对于流式查询，该操作在 join 和分组操作中被重写。根据输入行的数量计算查询结果所需的状态可能会无限增长。 请提供具有有效保留间隔的查询配置，以防止状态过大。 value IN (sub-query) BOOLEAN 如果 value 等于子查询结果集中的一行则返回 TRUE。
志输出及转储问题，打包时请注意排除以下文件： 系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件（例如l：“log4j.properties”或者“logback.xml”等） 日志输出实现类JAR包（例如：log4j等） 在此基础上，taskmanager
拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
队列的标签，使用标签标识云资源。包括“标签键”和“标签值”，具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版，配置该参数值为{"spec":"basic"}。 不配置该参数时默认为标准版弹性资源池。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String
SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 Kafka Sink配置发送失败重试机制 如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 作业语义检验时提示DIS通道不存在怎么处理？
版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 3.1.1。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
请参见图3。 图3 选择数据源 左侧“表”栏中点击右键，刷新表，将列出所有数据库及数据库下面的数据表（这是添加数据源时，“表结构模式”没有配置时的情况），请参见图4。 图4 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select * from table_name“，点
参数类型 描述 job_id 是 Long Flink作业的ID。 savepoint_path 是 String Savepoint路径。 配置示例：obs://bucket-name/dir 响应参数 状态码： 200 表3 响应Body参数 参数名称 参数类型 说明 is_success
<scope> provided </scope> </dependency> 或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件，则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site
口的周期触发策略； 当lateness_interval为0时，表示没有使用窗口结束后的延迟策略； 当二者都没有填写时，默认两种策略都没有配置，仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略，则需要将上述period_interval格式中的'10'设置为 '0'。 OVER
part2='v2') select * from ... 在“数据湖探索管理控制台>SQL编辑器”页面，单击编辑窗口右上角“设置”，可配置参数。 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
