-
创建跨源成功但测试网络连通性失败怎么办? - 数据湖探索 DLI
检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护,检查对应子网是否配置了ACL,是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段,同时设置的网络ACL规则包含拒绝该地址访问,那么此安全组规则不生效。 您可以参考添加网络ACL规则或修改网络ACL规则放通对应协议端口。
-
执行SQL作业时产生数据倾斜怎么办? - 数据湖探索 DLI
执行SQL作业时产生数据倾斜怎么办? 什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所
-
作业语义检验时提示DIS通道不存在怎么处理? - 数据湖探索 DLI
作业语义检验时提示DIS通道不存在怎么处理? 处理方法如下: 登录到DIS管理控制台,在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的
-
队列异常时,DLI怎么保证Spark作业的可靠性? - 数据湖探索 DLI
队列异常时,DLI怎么保证Spark作业的可靠性? 应用侧调用DLI提交作业,需要有重试机制来保证Spark作业的可靠性。如果队列发生异常时,在后续队列恢复后,通过应用侧重试来保证作业的正常提交。 父主题: 使用咨询
-
添加列 - 数据湖探索 DLI
添加列 功能描述 添加一个或多个新列到表上。 语法格式 1 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name1 col_type1 [COMMENT col_comment1], ...); 关键字 ADD COLUMNS:添加列。
-
添加列 - 数据湖探索 DLI
添加列 功能描述 添加一个或多个新列到表上。 语法格式 1 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name1 col_type1 [COMMENT col_comment1], ...); 关键字 ADD COLUMNS:添加列。
-
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败 - 数据湖探索 DLI
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败 问题现象 运行的SQL语句中存在join表,但是join没有添加on条件,多表关联造成笛卡尔积查询,最终导致队列资源占满,该队列上的作业运行失败。 例如,如下问题SQL语句,存在三个表的left jo
-
添加路由 - 数据湖探索 DLI
选择待添加路由的增强型跨源连接,并添加路由。 方法一: 选择待添加的增强型跨源连接,单击操作列的“路由信息”。 单击“添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。 单击“确定”。 方法二: 选择待添加的增强型跨源连接,单击操作列的“更多 > 添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。
-
添加分区(只支持OBS表) - 数据湖探索 DLI
向表中添加分区时,此表和分区列(建表时PARTITIONED BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。 若分区表是按照多个字段进行分区的,添加分区时需要指定所有的分区字段,指定字段的顺序可任意。 “partition_specs”中的参数默认带有“(
-
配置DLI 队列与公网网络联通 - 数据湖探索 DLI
详细请参考《NAT网关用户指南》中“添加SNAT规则”。 使用场景选择云专线/云连接。 添加专属队列所在的网段。 绑定对应的弹性公网IP。 图6 添加SNAT规则 添加完成后,单击“确定”。 步骤6:添加自定义路由 在增强型跨源连接页面添加自定义路由。此处添加的是访问的IP地址的路由信息。
-
超出套餐包额度的使用量怎么收费? - 数据湖探索 DLI
超出套餐包额度的使用量怎么收费? 购买了套餐包时,按需使用过程中优先抵扣套餐包的额度,超过额度的使用量按照按需计费。 套餐包需结合重置周期使用,如重置周期为月,且按订购周期重置,即如果用户1月5日订购套餐包资源,之后每个月的5日同一时间重置套餐包资源。 父主题: 计费相关问题
-
DLI使用SMN主题,提示SMN主题不存在,怎么处理? - 数据湖探索 DLI
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 如果使用已创建的SMN主题时,提示SM
-
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? - 数据湖探索 DLI
while fetching topic metadata怎么办? 首先测试地址连通性。 操作方法请参考测试地址连通性。 若果网络不可达,需要先配置网络连通。确保DLI 队列与外部数据源的网络连接性正常。 配置详情请参考配置网络连通。 父主题: 运维指导
-
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? - 数据湖探索 DLI
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。
-
配置DLI队列与内网数据源的网络联通 - 数据湖探索 DLI
配置DLI队列与内网数据源的网络联通 背景信息 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接,底层采用对等连接的方式打通与目的数据源的vpc网络,通过点对点的方式实现数据互通。
-
队列网络联通 - 数据湖探索 DLI
队列网络联通 配置DLI队列与内网数据源的网络联通 配置DLI 队列与公网网络联通
-
永洪BI添加数据源 - 数据湖探索 DLI
永洪BI添加数据源 操作场景 在永洪SaaS生产环境中添加DLI的数据源。 操作步骤 在永洪SaaS生产环境主页,单击左侧导航栏中的“添加数据源”,请参见图1。 图1 添加数据源 “选择数据源类型”页面中,新建数据源类型选择“GENERIC”。请参见图2。 图2 选择数据源类型 添加数据源的相关配置,请参见图3。
-
访问FlinkUI/SparkUI页面无法正常显示怎么办? - 数据湖探索 DLI
访问FlinkUI/SparkUI页面无法正常显示怎么办? 问题现象 访问FlinkUI/SparkUI页面无法正常显示,打开页面返回信息不全。 根因分析 根据分析发现队列为按需队列,队列运行作业的时候会重新创建集群,大概需要10分钟左右才能完成集群创建。在集群创建完成之前,访问
-
Flink作业管理界面对用户进行授权时提示用户不存在怎么办 - 数据湖探索 DLI
Flink作业管理界面对用户进行授权时提示用户不存在怎么办 问题现象 在“作业管理 > Flink作业”,对应作业“操作”列,选择“更多 > 权限管理”,对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 请先确认下当前用户名是否存在。
-
弹性资源池添加队列 - 数据湖探索 DLI
弹性资源池添加队列 创建完弹性资源池后,弹性资源池可以添加一个或多个队列用于后续作业的运行。本节操作介绍在弹性资源池中添加队列的操作步骤。 添加到弹性资源池中的队列不再单独计费,以弹性资源池为计费项计费。 注意事项 Flink作业不支持触发弹性资源池自动扩缩容。 弹性资源池界面添加队列