-
CloudTable HBase输出流 - 数据湖探索 DLI
KeyValue数据存储服务,为DLI提供了高性能的随机读写能力,适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用,适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息,请参见《表格存储服务用户指南》。 前提条件 该场
-
数据湖探索 DLI - 数据湖探索 DLI
权限管理 入门操作指导 提交SQL作业 提交Spark作业 05 实践 您可以通过以下案例进一步了解DLI的使用场景及操作步骤。 使用DLI进行车联网场景驾驶行为数据分析 详细介绍 使用DLI进行电商BI报表分析 详细介绍 07 API&SDK 通过DLI开放的API和调用示例,您可以使
-
CloudTable HBase输出流 - 数据湖探索 DLI
KeyValue数据存储服务,为DLI提供了高性能的随机读写能力,适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用,适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息,请参见《表格存储服务用户指南》。 前提条件 该场
-
运维指导 - 数据湖探索 DLI
运维指导 添加Python包后,找不到指定的Python环境 为什么Spark jar 作业 一直处于“提交中”? 父主题: Spark作业相关问题
-
Flink SQL作业相关问题 - 数据湖探索 DLI
SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知 OBS表如何映射为DLI的分区表? 在Flink SQL作业中创建表使用EL表达式,作业运行报DLI.0005错误 Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据 Flink SQL作业运行失败,日志中有connect
-
跨源连接问题 - 数据湖探索 DLI
DLI增强型跨源连接DWS失败 创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? DLI创建跨源连接,进行绑定队列一直在创建中怎么办? 按需队列怎样绑定跨源链接? 如何打通DLI和数据源的网络? 父主题: 跨源连接相关问题
-
运维指导 - 数据湖探索 DLI
手动在OBS表的分区目录下添加了数据,但是无法查询到该部分数据 为什么insert overwrite覆盖分区表数据的时候,覆盖了全量数据? 为什么SQL作业一直处于“提交中”? 跨源连接RDS表中create_date字段类型是datetime,为什么dli中查出来的是时间戳呢? SQL作业执行完成
-
弹性资源池概述 - 数据湖探索 DLI
大约在凌晨4点到7点这个数据段,ETL作业任务结束后没有其他作业,因为资源固定一直占用,导致严重的资源浪费。 上午9点到12点以及下午14点16点的两个时段,ETL报表和作业查询的请求量很高,因为当前固定资源不够,导致作业任务排队,任务一直排队。 图1 固定资源场景 场景二:资源相互隔离,没有共享,造成资源浪费的场景
-
Spark作业相关 - 数据湖探索 DLI
传参不能为JSON格式。 对应批处理作业提交提供两个接口: 异步 asyncSubmit,提交后直接返回,不等待 同步 submit,提交后会一直等待作业执行结束 删除批处理作业 DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下: 1 2 3 4 5 6 7
-
操作Flink作业 - 数据湖探索 DLI
存点”表示不创建保存点。默认不创建保存点。 保存点的生命周期从触发保存点并停止作业开始,重启作业后结束。保存点在重启作业后自动删除,不会一直保存。 停止作业过程中,在作业列表的“状态”列中将显示作业状态,说明如下: 如果在“状态”中显示“停止中”,表示正在停止作业。 如果在“状态”中显示“已停止”,表示停止作业成功。
-
使用Spark SQL作业分析OBS数据 - 数据湖探索 DLI
查询OBS表“testcsvdata4source ”classNo分区为“25”和“24”的数据。 分区表在进行查询时where条件中必须携带分区字段,否则会查询失败,报:DLI.0005: There should be at least one partition pruning predicate on
-
使用Spark Jar作业读取和查询OBS数据 - 数据湖探索 DLI
ver日志”,显示具体的报错日志信息,根据报错信息定位问题原因。 例如,如下截图信息因为创建Spark Jar作业时主类名没有包含包路径,报找不到类名“SparkDemoObs”。 图19 报错信息 可以在“操作”列,单击“编辑”,修改“主类”参数为正确的:com.huawei.dli
-
弹性资源池队列管理 - 数据湖探索 DLI
队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。因此,要注意如果业务没有需求的情况下,要及时清理释放资源,否则不管CU是否真正的使用,都会一直计费。 表1 弹性资源池扩缩容CU分配场景说明(无任务场景) 场景 弹性资源池CU数分配说明 弹性资源池当前最大CU为256CU,添加了两个