-
队列相关问题 - 数据湖探索 DLI
队列相关问题 使用咨询 运维指导
-
Flink SQL作业相关问题 - 数据湖探索 DLI
Flink SQL作业相关问题 Flink SQL作业的消费能力如何,即一天可以处理多大的数据量? Flink SQL中的temp流中数据是否需要定期清理,如何清理? Flink SQL作业将OBS表映射为DLI的分区表 Flink SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知
-
添加Python包后,找不到指定的Python环境 - 数据湖探索 DLI
添加Python包后,找不到指定的Python环境 添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新
-
计费相关问题 - 数据湖探索 DLI
计费相关问题 DLI的计费模式有哪些? 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗? 数据湖队列什么情况下是空闲状态? 怎样排查DLI计费异常? 已购买套餐包,为什么仍然产生按需计费? 怎样查看套餐包资源的使用情况? 怎样查看DLI的数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费?
-
跨源连接相关问题 - 数据湖探索 DLI
跨源连接相关问题 跨源连接问题 跨源分析问题 跨源连接运维报错
-
使用SDK相关问题 - 数据湖探索 DLI
使用SDK相关问题 使用SDK查询SQL作业结果,如何设置超时时间? 服务器:请求dli.xxx,unable to resolve host address, 如何解决?
-
作业运维报错 - 数据湖探索 DLI
p数据库 在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败 父主题: Spark作业相关问题
-
Spark作业访问MySQL数据库的方案 - 数据湖探索 DLI
Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案: 方案1:在DLI中创建队列,队列计费模式为包年/包月队列或按需专属,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。
-
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] - 数据湖探索 DLI
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 请排查“全局配置 > 作业配置” 对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。 父主题: 作业运维报错
-
Spark如何将数据写入到DLI表中 - 数据湖探索 DLI
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中,主要设置如下参数: fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下: import logging from operator
-
SQL作业访问报错:DLI.0003: AccessControlException XXX - 数据湖探索 DLI
SQL作业访问报错:DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错:DLI.0003: AccessControlException XXX。 解决措施 请查看下AccessControlException写的OBS桶,确认当前账号是否有访问桶的权限。
-
Python SDK - 数据湖探索 DLI
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
-
DLI适用哪些场景 - 数据湖探索 DLI
上,高频访问的热数据存放在数据引擎(CloudTable和DWS)中,降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩:对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用 DIS、CDM、OBS、DWS、RDS、CloudTable 大数据ETL处理 运营商大数据分析
-
DLI Flink作业支持哪些数据格式和数据源 - 数据湖探索 DLI
DLI Flink作业支持哪些数据格式和数据源 DLI Flink作业支持如下数据格式: Avro,Avro_merge,BLOB,CSV,EMAIL,JSON,ORC,Parquet,XML。 DLI Flink作业支持如下数据源: CloudTable HBase,CloudTable
-
SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403] - 数据湖探索 DLI
security.AccessControlException: verifyBucketExists on {{桶名}}: status [403] 问题现象 SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException:
-
如何实现跨数据源查询 - 数据湖探索 DLI
所在的位置,例如OBS的某个桶路径(该数据实际还是在OBS中,不用迁移)。 在DLI中编写SQL直接查询分析这些数据。 父主题: 跨源分析问题
-
使用咨询 - 数据湖探索 DLI
使用咨询 DLI细粒度授权 如何理解DLI分区表的列赋权 父主题: 授权相关问题
-
Flink Jar 包冲突,导致提交失败 - 数据湖探索 DLI
Flink Jar 包冲突,导致提交失败 问题描述 用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突,导致提交失败。 解决方案 查看是否已包含DLI Flink运行平台中已经存在的包,如果存在,则需要将自己的Jar包删除。 DLI内置依赖包请参考《数据湖探索用户指南》。
-
Flink jar 如何连接SASL - 数据湖探索 DLI
Jar连接开启SASL_SSL认证的Kafka。 具体操作请参考使用Flink Jar连接开启SASL_SSL认证的Kafka 父主题: Flink Jar作业相关问题
-
使用咨询 - 数据湖探索 DLI
使用咨询 Spark作业使用咨询 父主题: Spark作业相关问题