内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Sqoop全量同步mysql/Oracle数据到hive

      接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive，这里实验采用oracle数据库为例， 后面一篇文章将详细介绍： 1、sqoop --incremental append 附加模式增量同步数据到hive 2、sqoop --incremental --m

      开发者  >  博客
      作者： 赵延东的一亩三分地
      发表时间： 2023-03-25 12:06:12
      207
      0

    • 数据湖（五）：Hudi与Hive集成

      ​Hudi与Hive集成 一、​​​​​​​配置HiveServer2 Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。

      开发者  >  博客
      作者： Lansonli
      发表时间： 2022-06-06 05:12:19
      1503
      0

    • 数据湖（十八）：Flink与Iceberg整合SQL API操作

      ​Flink与Iceberg整合SQL API操作 Flink SQL 在操作Iceberg时，对应的版本为Flink 1.11.x 与Iceberg0.11.1版本，目前，Flink1.14.2版本与Iceberg0.12.1版本对于SQL API 来说兼容有问题，所以这里使用Flink1

      开发者  >  博客
      作者： Lansonli
      发表时间： 2022-07-21 22:40:39
      498
      0

    • 如何从MYSQL导入数据到MRS Hive分区表

      <a href=https://bbs.huaweicloud.com/blogs/550244df526311e89fc57ca23e93a89f>https://bbs.huaweicloud.com/blogs/550244df526311e89fc57ca23e93a89f</a>

      开发者  >  其他
      作者： lixinlong
      15883
      0

    • Flink的sink实战之四：自定义

      本次实战很简单：自定义sink，用于将数据写入MySQL，涉及的版本信息如下： jdk：1.8.0_191 flink：1.9.2 maven：3.6.0 flink所在操作系统：CentOS Linux release 7.7.1908 MySQL：5.7.29 IDEA：2018

      开发者  >  博客
      作者： 程序员欣宸
      发表时间： 2022-04-11 07:12:41
      654
      0

    • Ambari部署Flink

      es/FLINK # cd /var/lib/ambari-server/resources/stacks/HDP/3.1/services 下载flink安装包 下载地址：https://archive.apache.org/dist/flink/flink-1.9

      开发者  >  博客
      作者： 李子捌
      发表时间： 2021-11-24 12:04:32
      2281
      0

    • 《Flink原理、实战与性能优化》 —2.5　Flink源码编译

      2.5　Flink源码编译对于想深入了解Flink源码结构和实现原理的读者，可以按照本节的内容进行Flink源码编译环境的搭建，完成Flink源码的编译，具体操作步骤如下所示。Flink源码可以从官方 Git Repository上通过git clone命令下载：git clone

      开发者  >  博客
      作者： 华章计算机
      发表时间： 2020-02-17 14:05:40
      3512
      0

    • Hive简介

      metastore多实例场景，因此实际场景下derby通常会被mysql等数据库替代。 &nbsp;&nbsp; 3.HQL编译过程： &nbsp;&nbsp; 在Hive执行一条HQL的时候，首先会解析传入数据，将注解，换行符等多余字段给删除，对于提供HQL脚本执行场景，会将H

      开发者  >  博客
      作者： xiatch
      发表时间： 2022-05-31 11:23:07
      671
      0

    • 2021年大数据Flink（十八）：Flink Window操作

      主要用于做一些数据的自定义操作，可以在执行用户代码之前，也可以在执行 用户代码之后，更详细的描述可以参考org.apache.flink.streaming.api.windowing.evictors.Evictor 的 evicBefore 和 evicAfter两个方法。 Flink 提供了如下三种通用的

      开发者  >  博客
      作者： Lansonli
      发表时间： 2021-09-28 15:24:26
      1053
      0

    • 创建MRS HIVE连接

      创建OBS连接 2. 单击“保存”回到连接管理界面。 父主题： MySQL数据库数据迁移到MRS HIVE

      开发者 >  开发服务

    • 大数据Flink进阶（三）：Flink核心特性

      Flink核心特性 Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点： 一、批流一体化 Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-03-19 03:55:54
      194
      0

    • Hive外置MySQL创建中文字段表失败案例

         问题现象Hive外置元数据库MySQL，创建表包含中文字段名，报错Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec

      开发者  >  其他
      作者： IisAf1sh
      4419
      0

    • Flink的这些事（二）——Flink开发环境搭建

      ory\org\apache\flink\flink-java\1.6.1\flink-java-1.6.1.jar;E:\tools\Maven-Repository\org\apache\flink\flink-core\1.6.1\flink-core-1.6.1.jar;

      开发者  >  博客
      作者： 数据社
      发表时间： 2022-09-24 19:00:22
      189
      0

    • fusioninsight opensource flink sql 作业

      fusioninsight opensource flink 1.12 sql 作业中，怎么把kafka的数据接进来写入postgres中，尝试好多，一直sql校验失败。查资料没有示例

      开发者  >  其他
      作者： bigdata的AI
      757
      5

    • 创建Flink OpenSource作业从Postgres CDC源表读取数据写入到DWS

      化，并将变化的数据信息插入到DWS数据库中。前提条件已创建RDS Postgres实例，具体步骤可参考：RDS PostgreSQL快速入门。本示例创建的RDS Postgres数据库版本选择为：11。说明：创建的RDS Postgres数据库版本不能低于11。已创建DWS实例，

      开发者  >  其他
      作者： yd_228714723
      402
      1

    • Pyhive连接MRS集群HIVE

      sasl==0.3.修改源代码,将域名写死 vim /opt/miniconda3/lib/python3.8/site-packages/pyhive/hive.py添加kerberos_service_host参数 1.4 通过python代码连接hive./python3import

      开发者  >  其他
      作者： Ivan-agatha
      336
      0

    • Flink实战（四）Flink 的WaterMark机制

      整性），保证事件数据（全部）到达Flink系统，或者在乱序及延迟到达时，也能够像预期一样计算出正确并且连续的结果。 当任何 Event 进入到 Flink 系统时，会根据当前最大事件时间产生 Watermarks 时间戳。 那么 Flink 是怎么计算 WaterMark

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-10-27 07:20:30
      201
      0

    • Hudi源码分析之使用Flink Table/SQL实现Hudi Sources

      在文章Flink Table/SQL自定义Sources和Sinks全解析（附代码）中我们说到在Flink Table/SQL中如何自定义Sources和Sinks，有了上述文章的基础，我们再来理解Flink Table/SQL是如何实现Hudi的数据读取与写入就比较容易了。

      开发者  >  博客
      作者： 从大数据到人工智能
      发表时间： 2022-01-22 08:09:00
      1219
      0

    • 大数据Flink进阶（十五）：Flink On Yarn任务提交

      下面分别介绍这三种模式的任务提交命令和原理。 二、代码及Yarn环境准备 1、准备代码 为了能演示出不同模式的效果，这里我们编写准备Flink代码形成一个Flink Application，该代码中包含有2个job。Flink允许在一个main方法中提交多个job任务，多Job

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-04-09 22:40:19
      251
      0

    • 【Flink】flink消费kafka任务提交后报错

      【功能模块】按照官方的代码，提交flink消费kafka任务后，出现错误。在flink客户端使用的命令为bin/flink run -yt conf/ssl/ -ys 2 -m yarn-cluster -yjm 1024 -ytm 1024 -c org.mytest.stream

      开发者  >  其他
      作者： 空空师傅
      6210
      4
    总条数： 10000
    点击加载更多