内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • 数据湖（六）：Hudi与Flink整合

      Hudi与Flink整合 Hudi0.8.0版本与Flink1.12.x之上版本兼容，目前经过测试，Hudi0.8.0版本开始支持Flink，通过Flink写数据到Hudi时，必须开启checkpoint，至少有5次checkpoint后才能看到对应hudi中的数据。 但是应该是有一些问题，目前问题如下：

      开发者  >  博客
      作者： Lansonli
      发表时间： 2022-06-03 15:21:35
      696
      0

    • 初识Flink

      ory$ tar xzf flink-*.tgz   # Unpack the downloaded archive$ cd flink-1.7.0二、启动本地Flink群集$ ./bin/start-cluster.sh  # Start Flink检查web前端ui页面在ht

      开发者  >  博客
      作者： 小米粒-biubiubiu
      发表时间： 2020-09-01 14:09:15
      2811
      0

    • Flink SQL 优化

      会清理！要么设置 TTL ，要么使用 Flink SQL 的 interval join 。 使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的 状态就不再需要了。 Flink SQL可以指定空闲状态（即未更新的状态）被保留的最小时间

      开发者  >  博客
      作者： 令照辉
      发表时间： 2023-05-07 23:59:21
      22
      0

    • 漫画趣解Flink实时数仓

      数仓类型：根据及时性分为离线数仓和实时数仓 技术栈: 采集(Sqoop、Flume、CDC) 存储(Hive、Hbase、Mysql、Kafka、数据湖) 加工(Hive、Spark、Flink) OLAP查询(Kylin、Clickhous、ES、Dorisdb)等。 2

      开发者  >  博客
      作者： 大数据兵工厂
      发表时间： 2022-01-28 15:17:57
      3063
      0

    • Hive基础03、Hive基本库使用

       点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础03、Hive基本使用 目录 1、查看hive数据库 2、进入Hive 3、库操作 1、查看hive数据库 登录MySQL数据库 mysql -u root -p 点击并拖拽以移动 密码【123456】  查看【hive】数据库 show

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:13:15
      190
      0

    • Flink SQL 1.11 on Zeppelin 平台化实践

      理Flink SQL的元数据，还需要配置与Hive的集成。HIVE_CONF_DIR：Hive配置文件（hive-site.xml）所在的目录；zeppelin.flink.enableHive：设为true以启用Hive Integration；zeppelin.flink.hive

      开发者  >  其他
      作者： 沙漏
      4947
      0

    • loader作业配置,将hive数据全量导入mysql时如何覆盖原有数据

      hive导入mysql时,mysql库该表某字段有唯一约束,在每天全量导入的场景下,如合覆盖mysql表中原有数据?异常如下:,loader 页面上没有可以配置的地方

      开发者  >  其他
      作者： p00557943
      1149
      4

    • Flink实战（二）FlinkTable API操作

      8、通过内置的connector实现读取Hive数据以及写入Hive数据 通过Flink的内置Connector实现读取hive数据 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/hive/overview/

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-10-27 07:15:42
      236
      0

    • 【Flink 1.12】深度解析 Flink Upsert-kafka

      Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql 中执行以下命令： CREATE DATABASE flink; USE flink; CREATE

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-28 18:02:22
      2650
      0

    • 从MYSQL导入数据到MRS Hive分区表

      https://bbs.huaweicloud.com/blogs/article?id=550244df526311e89fc57ca23e93a89f

      开发者  >  其他
      作者： lixinlong
      12886
      0

    • Hive基础02、安装Hive

       点击并拖拽以移动点击并拖拽以移动​编辑 Hive基础02、安装Hive 前置 开启【hdfs】，六个服务都要在。 start-all.sh jps 点击并拖拽以移动 点击并拖拽以移动点击并拖拽以移动​编辑 安装Hive 1、解压【Hive】 tar -zxvf apache-hive-2.1.0-bin

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:12:46
      214
      0

    • Flink实战（五）Flink当中的窗口操作

      5、Flink当中的窗口操作 有了时间属性，我们就可以配合窗⼝来完成各种业务的计算，Flink Table API/SQL提供了丰富的窗⼝操作。 Flink DataStream已经支持Group Windows Flink Table API/SQL还支持Over Windows

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-10-27 07:22:41
      180
      0

    • 使用sqoop导入mysql数据到hive中

      path=$HADOOP_PREFIX/lib/native"# Hadoop end#Hiveexport HIVE_HOME=/opt/hive-2.3.3export PATH=$HIVE_HOME/bin:$PATH#HBaseexport HBASE_HOME=/opt/hbase-2

      开发者  >  博客
      作者： tengyun
      发表时间： 2019-04-19 23:31:17
      5819
      0

    • 大数据Flink进阶（五）：Flink开发环境准备

      在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来进行编写Flink程序，在后文章中我们将会主要使用Java和Scala来编写Flink程序。下面来准备下Flink开发环境。 一、Flink版本 本套课程中我们采用Flink最新版本1

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-03-19 03:54:33
      401
      0

    • 如何从MYSQL导入数据到MRS Hive分区表

      huaweicloud.com/blogs/550244df526311e89fc57ca23e93a89f>如何将数据从MYSQL导入到MapReduce Hive分区表</a>

      开发者  >  其他
      作者： lixinlong
      6689
      1

    • 如何从MYSQL导入数据到MRS Hive分区表

      huaweicloud.com/blogs/550244df526311e89fc57ca23e93a89f>如何将数据从MYSQL导入到MapReduce Hive分区表</a>

      开发者  >  其他
      作者： lixinlong
      16693
      1

    • flink集成hudi

      Flink.png flink 1.12.2 hudi 0.9.0 一、组件下载 1.1、flink1.12.2编译包下载： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-04-03 16:18:34
      2763
      1

    • 如何使用CDM迁移Mysql数据到Hive分区表

      MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。详情请点击博文链接：https://bbs.huaweicloud.com/blogs/166264

      开发者  >  其他
      作者： AI资讯
      4224
      1

    • Hive on Spark和Spark sql on Hive有啥区别？

      KryoSerializer; 将编译好的Spark安装包中lib目录下的spark-assembly-*.jar包添加至HIVE_HOME/lib中 （4）启动Hive /opt/hive/bin/hive --service metastore （5）启动Hive命令行窗口 beeline

      开发者  >  博客
      作者： dayu_dls
      发表时间： 2021-05-21 02:29:04
      3563
      0

    • Flink实战（三）Flink的Time类型

      3、Flink的Time类型 对于流式数据处理，最大的特点是数据上具有时间的属性特征。 Flink根据时间产生的位置不同，可以将时间区分为三种时间类型： ==Event Time==（事件发生时间） 事件产生的时间，它通常由事件中的时间戳描述 ==Ingestion

      开发者  >  博客
      作者： Maynor学长
      发表时间： 2022-10-27 07:19:20
      137
      0
    总条数： 10000
    点击加载更多