检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通常用于结构化数据的查询和分析。 Flink作业 Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业:提交作业时可以使用DLI提供的标准的连接器(connectors)和丰富的API,快速与其他数据系统的集成。
配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if
数据免搬迁:DLI支持与多种数据源的对接,直接通过SQL建表就可以完成数据源的映射。 简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。 按需计费:日志分析按时效性要求按周期进行调度,每次调度之间存在大量空闲期。DLI按需计费只在使用期间收费,有效节约队列成本。 资源和成本规划
DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗? DLI
示例 下面的示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if
DLI Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景,支持与多种云服务跨源连通,形成丰富的流生态圈。适用于实时监控、在线分析等场景。 · Flink OpenSource作业:DLI提供了标准的连接器(connectors)和丰富的API,便于快速与其他数据系统的集成。
li_management_agency的委托信息。 步骤1:开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力,您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序,