内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • flink写入数据到hudi的四种方式

      Flink SQL实践 使用datafaker生成100000条数据，放到mysql数据库中的stu4表。 数据生成方式以及Flink SQL使用方法见Flink SQL Client实战CDC数据入湖 使用bulk_insert方式写入到hudi中。 Flink SQL

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-03-27 16:30:39
      1740
      0

    • flink使用hivecatalog写数据到hive中时，报错 No common protection layer between client and server

      apache.flink.table.catalog.hive.client.HiveShimV310.getHiveMetastoreClient(HiveShimV310.java:112)     at org.apache.flink.table.catalog.hive.client

      开发者  >  其他
      作者： yd_242216440
      185
      5

    • Spark从Hive读取数据再写入HBase

      '1000'开发思路查询Hive person表的数据。根据person表数据的key值去table2表做查询。把前两步相应的数据记录做相加操作。把上一步骤的结果写到table2表。Java样例代码功能介绍在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数

      开发者  >  其他
      作者： LCDsxg
      2334
      1

    • 【MRS】【flink组件】集成flink组件时代码编译报错

      【功能模块】MRS版本：MRS3.1.0【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

      开发者  >  其他
      作者： 天桥调参师
      2874
      1

    • Flink实战(一)Flink TableAPI实践

      <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hive_2.12</artifactId> <version>${flink.version}</version>

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-10-27 07:13:08
      151
      0

    • Flink综合案例(九)v2

      FlinkSQL 整合 Hive FlinkSQL 整合 Hive 数据仓库 Flink1.9 之后支持 Hive 数据仓库， 在Flink1.12版本支持 Hive 可以在生产级环境使用 Hive 使用Hive，外部调用的使用，开启两个服务 hive --service

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-07-24 04:02:49
      258
      0

    • 创建Flink OpenSource作业从Kafka读取数据写入到RDS

      步骤3：创建RDS数据库和表登录RDS管理控制台，在“实例管理”界面，选择已创建的RDS MySQL实例，选择操作列的“更多 > 登录”，进入数据管理服务实例登录界面。输入实例登录的用户名和密码。单击“登录”，即可进入RDS MySQL数据库并进行管理。在数据库实例界面，单击“

      开发者  >  其他
      作者： yd_228714723
      271
      0

    • 《Flink原理、实战与性能优化》 —2.3.3　导入Flink应用代码

      2.3.3　导入Flink应用代码开发环境配置完毕之后，下面就可以将2.3.2节中创建好的项目导入到IDE中，具体步骤如下所示：启动IntelliJ IDEA，选择File→Open，在文件选择框中选择创建好的项目（quickstart），点击确定，IDEA将自动进行项目的导入；

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 13:56:08
      2894
      0

    • MRS813中，flink使用hivecatalog向hive中写数据，报错 GSS initiate failed [Caused by GSSException: No valid credentials provided 。

      MRS813中，flink使用hivecatalog向hive中写数据，报错 GSS initiate failed [Caused by GSSException: No valid credentials provided 。在创建hivecatalog之前，已经做过 Kerberos

      开发者  >  其他
      作者： yd_242216440
      316
      6

    • 【Flink产品】【flink功能】样例代码flink生产数据到kafka打jar包执行报错

      )Elasticsearch    6.5.1    ( 补丁  6.5.1.7 )在flink客户端下执行  命令如下bin/flink run --class com.huawei.bigdata.flink.examples.WriteIntoKafka /opt/client/flinkStreamKafka

      开发者  >  其他
      作者： sou1yu
      4415
      5

    • 【Flink】1.Flink概述

      什么是Flink Apache Flink是一个框架和分布式处理引擎，用于对无边界和有边界的数据流进行有状态的计算。 Flink旨在运行在所有常见的群集环境中，以内存速度和任何规模执行计算。 画重点 分布式数据流计算有边界数据和无边界数据

      开发者  >  博客
      作者： 小雨青年
      发表时间： 2022-03-28 14:42:31
      476
      0

    • 【场景案例】Load将Mysql数据导入Hive样例方案

      p;    Mysql准备工作 1.登录事先安装好的Mysql数据库，方式如下：     mysql –uroot –p Huawei@123 2.创建并使用数据库      

      开发者  >  博客
      作者： 南派三叔
      发表时间： 2021-05-25 08:58:04
      2186
      0

    • 初学Flink-使用Flink读写HBase

      一个是T2,一个是T3，这个例子便是使用Flink从T2表把数据读取出来并写入到T3表中，我们提前在T2表中写入一定量的数据。Flink就不单独部署了，这里例子中，我们使用IDE启动的方式，方便调试。 实现Flink写HBase的应用代码1.建立一个maven工程，pom.xml中加入如下依赖，其中加入org

      开发者  >  博客
      作者： Lettle whale
      发表时间： 2020-09-29 16:46:27
      11267
      1

    • Hive基础01、安装MySQL

      ​  点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础01、安装MySQL 目录 1、安装需要的包 2、卸载不需要的包 3、安装MySQL服务端 4、安装MySQL客户端 5、登录MySQL 6、修改密码 7、分配master权限 8、刷新权限 登录测试 

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:12:13
      203
      0

    • 如何使用DLI Flink对接用户自建的mysql？

      可以参考下DLI资料：https://support.huaweicloud.com/sqlref-flink-dli/dli_08_0245.html1. 首先您需要获取您自建Mysql实例的IP+端口；    按资料所示方法配置Flink作业：    2. 其次，您需要创建DLI专属通用队列，并配置增强型跨

      开发者  >  其他
      作者： Yunz Bao
      2263
      0

    • Apache Flink 入门，了解 Apache Flink

      4、Apache Flink 特性 5、Apache Flink 的分层 API Apache Flink 入门，了解 Apache Flink 1、如何通俗易懂的解释 Flink Flink 主要在协议

      开发者  >  博客
      作者： 简简单单Onlinezuozuo
      发表时间： 2022-06-02 15:09:07
      519
      0

    • Flink的这些事（一）——Flink部署

      一、flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。

      开发者  >  博客
      作者： 数据社
      发表时间： 2022-09-24 17:51:34
      157
      0

    • flink写入hdfs文件大小和时间间隔

      sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和B

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-04-05 15:19:27
      1585
      0

    • Flink介绍

      Pipeline ● 配置表架构Flink架构如图1-15所示。图 1-15 Flink 架构Flink整个系统包含三个部分： ● Client Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。 ● TaskManager Flink系统的业务执行节点，

      开发者  >  博客
      作者： Ragnar
      发表时间： 2020-08-25 14:10:55
      3543
      0

    • Flink对接OBS

      flink-obs-fs-hadoop的实现基于flink的plugin加载机制（flink从1.9开始引入），flink-obs-fs-hadoop必须通过flink的plugin机制进行加载，即将flink-obs-fs-hadoop放入/opt/flink-1.12

      开发者 >  开发服务
    总条数： 10000
    点击加载更多