-
故障处理 - 数据湖探索 DLI
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
-
故障处理 - 数据湖探索 DLI
问题现象 运行Spark作业，作业运行失败，作业日志中提示KrbException: Message stream modified (41) 解决方案 编辑“krb5.conf” 配置文件，将文件中所有“renew_lifetime = xxx”配置删除。重新创建和提交Spark作业。
-
故障处理 - 数据湖探索 DLI
ted character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
-
更新管理 - 数据湖探索 DLI
远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置。 父主题： 安全
-
Ogg Format - 数据湖探索 DLI
Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用 JSON
-
SQL防御概述 - 数据湖探索 DLI
SQL防御概述 什么是SQL防御 当前大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。
-
修改表生命周期的时间 - 数据湖探索 DLI
表数据文件，更新表/分区的LAST_ACCESS_TIME，耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSource语法创建表、多版本表，暂不支持跨源表、Carbon表。 生命周期单位为天，取值为正整数。
-
修改表生命周期的时间 - 数据湖探索 DLI
表数据文件，更新表/分区的LAST_ACCESS_TIME，耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSource语法创建表、多版本表，暂不支持跨源表、Carbon表。 生命周期单位为天，取值为正整数。
-
审计与日志 - 数据湖探索 DLI
审计与日志 DLI对接云审计服务 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
-
数据湖探索 DLI - 数据湖探索 DLI
了解更多常见问题、案例和解决方案 通用问题 什么是DLI？ 怎样排查DLI计费异常？ DLI支持哪些数据格式？ DLI的数据可存储在哪些地方？ 更多 SQL作业相关问题 如何理解DLI分区表的列赋权？ 如何避免字符码不一致导致的乱码？ OBS表压缩率较高 更多 跨源连接相关问题 如何实现跨数据源查询？
-
执行SQL作业时产生数据倾斜怎么办？ - 数据湖探索 DLI
占用更多的计算资源和时间，导致处理速度变慢，出现数据倾斜。 JOIN 操作倾斜 在执行表JOIN操作时，参与JOIN的键在某个表中分布极不均匀，导致大量数据集中在少数几个任务中处理，而其他任务则已完成，造成数据倾斜。 Group By数据倾斜解决方案 取部分数据执行select count(*)
-
Flink作业管理界面对用户进行授权时提示用户不存在怎么办 - 数据湖探索 DLI
Flink作业”，对应作业“操作”列，选择“更多 > 权限管理”，对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 请先确认下当前用户名是否存在。 如该用户存在，请重新登录管理控制台，系统才能对该用户进行授权操作。 父主题： 使用咨询
-
Flink SQL作业Kafka分区数增加或减少，不用停止Flink作业，实现动态感知 - 数据湖探索 DLI
采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。 解决方案 在SQL语句中添加如下参数： connector.properties.flink.partition-discovery.interval-millis="3000"
-
SQL作业运行报错：DLI.0002 FileNotFoundException - 数据湖探索 DLI
0002: FileNotFoundException: getFileStatus on obs://xxx: status [404] 解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许同时有多个作业在同一时间点对相同表进行读写操作，否则会造成作业冲突，导致作业运行失败。
-
永洪BI对接准备工作 - 数据湖探索 DLI
7.jar）。具体操作请参考下载JDBC驱动包。 JDBC认证方式支持AK/SK方式和Token方式，建议采用AK/SK方式。 询问永洪客服，获取永洪SaaS生产环境用户账号和密码。 登入永洪SaaS生产环境，输入用户账号和密码。 父主题： 永洪BI对接DLI提交Spark作业
-
访问FlinkUI/SparkUI页面无法正常显示怎么办？ - 数据湖探索 DLI
群创建。在集群创建完成之前，访问FlinkUI会导致缓存空的projectID，从而导致无法访问。出现该问题可能原因是由于集群未创建。 解决方案 建议将队列更换为专属队列，空闲状态下集群不会被释放。或者提交作业等一段时间之后在查看FlinkUI。 父主题： 运维指导
-
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 - 数据湖探索 DLI
ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： 作业运维报错
-
如何判断当前DLI队列中的作业是否有积压？ - 数据湖探索 DLI
如何判断当前DLI队列中的作业是否有积压？ 问题描述 需要查看DLI的队列中作业状态为“提交中”和“运行中”的作业数，判断当前队列中的作业是否有积压。 解决方案 可以通过“云监控服务 CES”来查看DLI队列中不同状态的作业情况，具体操作步骤如下： 在控制台搜索“云监控服务 CES”，进入云监控服务控制台。
-
FineBI工具对接DLI Trino - 数据湖探索 DLI
Trino。 测试连接。 方案优势 大数据分析BI工具提供数据探索能力：FineBI 作为新一代自助大数据分析的 BI 工具，为企业提供多源数据采集，自助探索式分析，多屏解决方案以及企业级管控等一站式企业商业智能解决方案。 华为云DLI提供数据的融合分析处理能力：DLI支持与多种数
-
创建SQL作业的API执行超过时间限制，运行超时报错 - 数据湖探索 DLI
nothing to refresh. 问题根因 API以同步模式调用运行时会有两分钟的超时时间限制，如果API调用超过该时间限制则会超时报错。 解决方案 调用“提交SQL作业”API时可以通过设置“dli.sql.sqlasync.enabled”参数为“true”来异步运行该作业。 具体可以参考提交SQL作业API。
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
