已找到以下 10000 条记录

    • MRS813中，flink使用hivecatalog向hive中写数据，报错 GSS initiate failed [Caused by GSSException: No valid credentials provided 。

      MRS813中，flink使用hivecatalog向hive中写数据，报错 GSS initiate failed [Caused by GSSException: No valid credentials provided 。在创建hivecatalog之前，已经做过 Kerberos

      开发者  >  其他
      作者： yd_242216440
      276
      6

    • 【Flink】1.Flink概述

      什么是Flink Apache Flink是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。 Flink旨在运行在所有常见的群集环境中，以内存速度和任何规模执行计算。 画重点 分布式数据流计算有边界数据和无边界数据

      开发者  >  博客
      作者： 小雨青年
      发表时间： 2022-03-28 14:42:31
      476
      0

    • 【场景案例】Load将Mysql数据导入Hive样例方案

      p;    Mysql准备工作 1.登录事先安装好的Mysql数据库，方式如下：     mysql –uroot –p Huawei@123 2.创建并使用数据库      

      开发者  >  博客
      作者： 南派三叔
      发表时间： 2021-05-25 08:58:04
      2186
      0

    • 【Flink产品】【flink功能】样例代码flink生产数据到kafka打jar包执行报错

      )Elasticsearch    6.5.1    ( 补丁  6.5.1.7 )在flink客户端下执行  命令如下bin/flink run --class com.huawei.bigdata.flink.examples.WriteIntoKafka /opt/client/flinkStreamKafka

      开发者  >  其他
      作者： sou1yu
      4415
      5

    • Hive基础01、安装MySQL

      ​  点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础01、安装MySQL 目录 1、安装需要的包 2、卸载不需要的包 3、安装MySQL服务端 4、安装MySQL客户端 5、登录MySQL 6、修改密码 7、分配master权限 8、刷新权限 登录测试 

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:12:13
      203
      0

    • 使用Temporal join关联维表的最新分区 - 数据湖探索 DLI

      CATALOG myhive WITH ( 'type' = 'hive' , 'default-database' = 'demo', 'hive-conf-dir' = '/opt/flink/conf' ); USE CATALOG myhive; CREATE

      帮助中心 > 数据湖探索 DLI > Flink SQL语法参考 > Flink Opensource SQL1.15语法参考 > Connector列表 > Hive

    • 初学Flink-使用Flink读写HBase

      是T2,一个是T3，这个例子便是使用Flink从T2表把数据读取出来并写入到T3表中，我们提前在T2表中写入一定量的数据。Flink就不单独部署了，这里例子中，我们使用IDE启动的方式，方便调试。 实现Flink写HBase的应用代码1.建立一个maven工程，pom.xml中加入如下依赖，其中加入org

      开发者  >  博客
      作者： Lettle whale
      发表时间： 2020-09-29 08:46:27
      6954
      1

    • Flink SQL和Flink Opensource SQL的语法有什么区别？ - 数据湖探索 DLI

      Flink SQL和Flink Opensource SQL的语法有什么区别？ Flink SQL是DLI早期的自研语法，不兼容开源语法。 Flink Opensource SQL完全兼容Flink开源语法，随开源Flink 更新不断迭代。 因此推荐您使用Flink Opensource

      帮助中心 > 数据湖探索 DLI > 常见问题 > Flink作业相关问题 > Flink SQL作业相关问题

    • Apache Flink 入门，了解 Apache Flink

      4、Apache Flink 特性 5、Apache Flink 的分层 API Apache Flink 入门，了解 Apache Flink 1、如何通俗易懂的解释 Flink Flink 主要在协议

      开发者  >  博客
      作者： 简简单单Onlinezuozuo
      发表时间： 2022-06-02 15:09:07
      519
      0

    • 创建Flink OpenSource作业从Kafka读取数据写入到DWS

      制台，单击“作业管理 > Flink作业”，在Flink作业管理界面，单击“创建作业”。在创建队列界面，类型选择“Flink OpenSource SQL”，名称填写为：FlinkKafkaDWS。单击“确定”，跳转到Flink作业编辑界面。在Flink OpenSource S

      开发者  >  其他
      作者： yd_228714723
      679
      4

    • 如何使用DLI Flink对接用户自建的mysql？

      可以参考下DLI资料：https://support.huaweicloud.com/sqlref-flink-dli/dli_08_0245.html1. 首先您需要获取您自建Mysql实例的IP+端口；    按资料所示方法配置Flink作业：    2. 其次，您需要创建DLI专属通用队列，并配置增强型跨

      开发者  >  其他
      作者： Yunz Bao
      2262
      0

    • flink写入hdfs文件大小和时间间隔

      sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和B

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-04-05 15:19:27
      1585
      0

    • Flink的这些事（一）——Flink部署

      一、flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。

      开发者  >  博客
      作者： 数据社
      发表时间： 2022-09-24 17:51:34
      157
      0

    • Flink介绍

      配置表架构Flink架构如图1-15所示。图 1-15 Flink 架构Flink整个系统包含三个部分： ● Client Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。 ● TaskManager Flink系统的业务

      开发者  >  博客
      作者： Ragnar
      发表时间： 2020-08-25 06:10:55
      2200
      0

    • 使用Temporal join关联维表的最新版本 - 数据湖探索 DLI

      缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TT

      帮助中心 > 数据湖探索 DLI > Flink SQL语法参考 > Flink Opensource SQL1.15语法参考 > Connector列表 > Hive

    • Flink

      Runtime 核心层：Flink分布式计算框架的核心实现层，负责分布式作业的执行、映射转换、任务调度等。将 DataStream 和 DataSet 转成同意的可执行的 Task Operator 。 物理部署层：目前Flink支持本地、集群、云、容器部署，Flink通过盖层能够支持不

      开发者  >  博客
      作者： 武师叔
      发表时间： 2022-09-29 08:37:47
      173
      0

    • MySQL数据库数据迁移到MRS HIVE

      MySQL数据库数据迁移到MRS HIVE 场景说明 创建CDM集群并绑定EIP 创建MySQL连接 创建MRS HIVE连接 创建迁移作业 父主题： 使用场景

      开发者 >  开发服务

    • Flink学习笔记03：将项目打包提交到Flink集群上运行

      WordCount 三、利用mvn命令打包Maven项目 三、上传项目jar包到Flink集群主节点 四、启动Flink Standalone集群 五、将应用提交到Flink集群运行 （一）不设置输入参数，只设置输出参数 （二）既设置输入参数，又设置输出参数

      开发者  >  博客
      作者： howard2005
      发表时间： 2022-03-24 16:25:58
      505
      0

    • Hudi通过DeltaStreamer消费Kafka写入Hive样例

      // hive config hoodie.datasource.hive_sync.table=delta_demo hoodie.datasource.hive_sync.partition_fields=y,ym,ymd hoodie.datasource.hive_sync

      开发者  >  其他
      作者： suwei
      4350
      2

    • 【DLI】【Flink】我想要使用DLI flink对接我们自建的mysql机器，请问如何操作

      RT，请专家指导下

      开发者  >  其他
      作者： 数据湖爱好者
      1143
      1
    总条数： 10000
    点击加载更多