已找到以下 10000 条记录

    • 《Flink原理、实战与性能优化》 —2.3.3　导入Flink应用代码

      2.3.3　导入Flink应用代码开发环境配置完毕之后，下面就可以将2.3.2节中创建好的项目导入到IDE中，具体步骤如下所示：启动IntelliJ IDEA，选择File→Open，在文件选择框中选择创建好的项目（quickstart），点击确定，IDEA将自动进行项目的导入；

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 13:56:08
      2894
      0

    • MRS813中，flink使用hivecatalog向hive中写数据，报错 GSS initiate failed [Caused by GSSException: No valid credentials provided 。

      MRS813中，flink使用hivecatalog向hive中写数据，报错 GSS initiate failed [Caused by GSSException: No valid credentials provided 。在创建hivecatalog之前，已经做过 Kerberos

      开发者  >  其他
      作者： yd_242216440
      365
      6

    • 【Flink】1.Flink概述

      什么是Flink Apache Flink是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。 Flink旨在运行在所有常见的群集环境中，以内存速度和任何规模执行计算。 画重点 分布式数据流计算有边界数据和无边界数据

      开发者  >  博客
      作者： 小雨青年
      发表时间： 2022-03-28 14:42:31
      476
      0

    • 【Flink产品】【flink功能】样例代码flink生产数据到kafka打jar包执行报错

      )Elasticsearch    6.5.1    ( 补丁  6.5.1.7 )在flink客户端下执行  命令如下bin/flink run --class com.huawei.bigdata.flink.examples.WriteIntoKafka /opt/client/flinkStreamKafka

      开发者  >  其他
      作者： sou1yu
      4418
      5

    • 【场景案例】Load将Mysql数据导入Hive样例方案

      p;    Mysql准备工作 1.登录事先安装好的Mysql数据库，方式如下：     mysql –uroot –p Huawei@123 2.创建并使用数据库      

      开发者  >  博客
      作者： 南派三叔
      发表时间： 2021-05-25 08:58:04
      2186
      0

    • 初学Flink-使用Flink读写HBase

      一个是T2,一个是T3，这个例子便是使用Flink从T2表把数据读取出来并写入到T3表中，我们提前在T2表中写入一定量的数据。Flink就不单独部署了，这里例子中，我们使用IDE启动的方式，方便调试。 实现Flink写HBase的应用代码1.建立一个maven工程，pom.xml中加入如下依赖，其中加入org

      开发者  >  博客
      作者： Lettle whale
      发表时间： 2020-09-29 16:46:27
      11267
      1

    • 使用Temporal join关联维表的最新分区 - 数据湖探索 DLI

      CATALOG myhive WITH ( 'type' = 'hive' , 'default-database' = 'demo', 'hive-conf-dir' = '/opt/flink/conf' ); USE CATALOG myhive; CREATE

      帮助中心 > 数据湖探索 DLI > Flink SQL语法参考 > Flink Opensource SQL1.15语法参考 > Connector列表 > Hive

    • Hive基础01、安装MySQL

      ​  点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础01、安装MySQL 目录 1、安装需要的包 2、卸载不需要的包 3、安装MySQL服务端 4、安装MySQL客户端 5、登录MySQL 6、修改密码 7、分配master权限 8、刷新权限 登录测试 

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:12:13
      203
      0

    • Apache Flink 入门，了解 Apache Flink

      4、Apache Flink 特性 5、Apache Flink 的分层 API Apache Flink 入门，了解 Apache Flink 1、如何通俗易懂的解释 Flink Flink 主要在协议

      开发者  >  博客
      作者： 简简单单Onlinezuozuo
      发表时间： 2022-06-02 15:09:07
      519
      0

    • Flink的这些事（一）——Flink部署

      一、flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。

      开发者  >  博客
      作者： 数据社
      发表时间： 2022-09-24 17:51:34
      157
      0

    • flink写入hdfs文件大小和时间间隔

      sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和B

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-04-05 15:19:27
      1585
      0

    • Flink介绍

      Pipeline ● 配置表架构Flink架构如图1-15所示。图 1-15 Flink 架构Flink整个系统包含三个部分： ● Client Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。 ● TaskManager Flink系统的业务执行节点，

      开发者  >  博客
      作者： Ragnar
      发表时间： 2020-08-25 14:10:55
      3543
      0

    • 如何使用DLI Flink对接用户自建的mysql？

      可以参考下DLI资料：https://support.huaweicloud.com/sqlref-flink-dli/dli_08_0245.html1. 首先您需要获取您自建Mysql实例的IP+端口；    按资料所示方法配置Flink作业：    2. 其次，您需要创建DLI专属通用队列，并配置增强型跨

      开发者  >  其他
      作者： Yunz Bao
      2267
      0

    • 使用Temporal join关联维表的最新版本 - 数据湖探索 DLI

      缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TT

      帮助中心 > 数据湖探索 DLI > Flink SQL语法参考 > Flink Opensource SQL1.15语法参考 > Connector列表 > Hive

    • Flink

      Runtime 核心层：Flink分布式计算框架的核心实现层，负责分布式作业的执行、映射转换、任务调度等。将 DataStream 和 DataSet 转成同意的可执行的 Task Operator 。 物理部署层：目前Flink支持本地、集群、云、容器部署，Flink通过盖层能够支持不

      开发者  >  博客
      作者： 武师叔
      发表时间： 2022-09-29 08:37:47
      173
      0

    • Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 - 数据湖探索 DLI

      Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。

      帮助中心 > 数据湖探索 DLI > 常见问题 > Flink作业类 > Flink SQL作业类

    • Flink学习笔记03：将项目打包提交到Flink集群上运行

      WordCount 三、利用mvn命令打包Maven项目 三、上传项目jar包到Flink集群主节点 四、启动Flink Standalone集群 五、将应用提交到Flink集群运行 （一）不设置输入参数，只设置输出参数 （二）既设置输入参数，又设置输出参数

      开发者  >  博客
      作者： howard2005
      发表时间： 2022-03-24 16:25:58
      505
      0

    • Flink对接OBS

      flink-obs-fs-hadoop的实现基于flink的plugin加载机制（flink从1.9开始引入），flink-obs-fs-hadoop必须通过flink的plugin机制进行加载，即将flink-obs-fs-hadoop放入/opt/flink-1.12

      开发者 >  开发服务

    • 如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ - 数据湖探索 DLI

      如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 在Flink 作业中，可以使用CREATE语句来定义Source表和Sink表，并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群，您需要为每个集群配置不

      帮助中心 > 数据湖探索 DLI > 常见问题 > Flink作业类 > Flink SQL作业类

    • 【DLI】【Flink输出流】Flink可以直接将数据转储到DLI内表吗？

      请问DLI的Flink可以直接将数据转储到DLI内表吗？

      开发者  >  其他
      作者： Sinyo
      1138
      1
    总条数： 10000
    点击加载更多