内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Flink学习笔记03：将项目打包提交到Flink集群上运行

      WordCount 三、利用mvn命令打包Maven项目 三、上传项目jar包到Flink集群主节点 四、启动Flink Standalone集群 五、将应用提交到Flink集群运行 （一）不设置输入参数，只设置输出参数 （二）既设置输入参数，又设置输出参数

      开发者  >  博客
      作者： howard2005
      发表时间： 2022-03-24 16:25:58
      505
      0

    • Flink对接OBS

      flink-obs-fs-hadoop的实现基于flink的plugin加载机制（flink从1.9开始引入），flink-obs-fs-hadoop必须通过flink的plugin机制进行加载，即将flink-obs-fs-hadoop放入/opt/flink-1.12

      开发者 >  开发服务

    • 【DLI】【Flink输出流】Flink可以直接将数据转储到DLI内表吗？

      请问DLI的Flink可以直接将数据转储到DLI内表吗？

      开发者  >  其他
      作者： Sinyo
      1138
      1

    • MySQL数据库数据迁移到MRS HIVE

      MySQL数据库数据迁移到MRS HIVE 场景说明 创建CDM集群并绑定EIP 创建MySQL连接 创建MRS HIVE连接 创建迁移作业 父主题： 使用场景

      开发者 >  开发服务

    • 【DLI】【Flink】我想要使用DLI flink对接我们自建的mysql机器，请问如何操作

      RT，请专家指导下

      开发者  >  其他
      作者： 数据湖爱好者
      1143
      1

    • 创建Flink OpenSource作业从Kafka读取数据写入到DWS

      制台，单击“作业管理 > Flink作业”，在Flink作业管理界面，单击“创建作业”。在创建队列界面，类型选择“Flink OpenSource SQL”，名称填写为：FlinkKafkaDWS。单击“确定”，跳转到Flink作业编辑界面。在Flink OpenSource S

      开发者  >  其他
      作者： yd_228714723
      680
      4

    • 初识Flink

      Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。 一、Flink 的下载安装启动 设置：下载并启动Flink Flink可在Linux，Mac

      开发者  >  博客
      作者： 小米粒-biubiubiu
      发表时间： 2020-12-04 00:19:16
      5547
      0

    • 大数据Flink进阶（六）：Flink入门案例

      录中创建"words.txt"文件，向文件中写入以下内容，方便后续使用Flink编写WordCount实现代码。 hello Flink hello MapReduce hello Spark hello Flink hello Flink hello Flink hello Flink

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-03-20 11:47:20
      212
      0

    • 数据湖（十七）：Flink与Iceberg整合DataStream API操作

      ​Flink与Iceberg整合DataStream API操作 目前Flink支持使用DataStream API 和SQL API 方式实时读取和写入Iceberg表，建议大家使用SQL API 方式实时读取和写入Iceberg表。 Iceberg 支持的Flink版本为1.11

      开发者  >  博客
      作者： Lansonli
      发表时间： 2022-07-15 00:33:14
      1217
      0

    • Flink学习笔记04：将项目打包提交到Flink集群上运行（Scala版）

      ScalaWordCount 三、利用mvn命令打包Maven项目 三、上传项目jar包到Flink集群主节点 四、启动Flink Standalone集群 五、将应用提交到Flink集群运行 （一）不设置输入参数，只设置输出参数 （二）既设置输入参数，又设置输出参数

      开发者  >  博客
      作者： howard2005
      发表时间： 2022-03-26 15:19:52
      571
      0

    • 大数据Flink进阶（一）：Apache Flink是什么

      致力于Flink技术的发展和商业化，2019年阿里巴巴收购了Data Artisans公司，并将其开发的分支Blink开源，越来越多的公司开始将Flink应用到他们真实的生产环境中，并在技术和商业上共同推动Flink的发展。 Flink逐步被广泛使用不仅仅是因为 Flink支持高吞吐、低延迟和

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-03-13 10:52:19
      1023
      0

    • Hive基础03、Hive基本库使用

      动​编辑 Hive基础03、Hive基本使用 目录 1、查看hive数据库 2、进入Hive 3、库操作 1、查看hive数据库 登录MySQL数据库 mysql -u root -p 点击并拖拽以移动 密码【123456】  查看【hive】数据库 show

      开发者  >  博客
      作者： 红目香薰
      发表时间： 2022-07-29 02:13:15
      190
      0

    • Flink安装部署

      一、flink部署模式 flink有三种部署模式1.1 local本地模式1.2 Sandalone独立集群模式1.3 Flink on Yarn模式 二、flink部署 企业级生产环境选用Flink on Yarn模式部署 2.1 选择flink版本 使用flink1.13.5

      开发者  >  博客
      作者： Smy1121
      发表时间： 2023-01-03 02:03:28
      129
      0

    • HiveSQL

      HiveSQL代码优化原则 image.png 优化的基本流程如下： 第一，选择性能评估项及各自目标，常见的评估性能指标有程序的时延和吞吐量； 第二，如果系统是由多个组件和服务构成，需要分组件和服务定义性能目标； 第三，明确当前环境下各个组件的性能； 第四，分析定位性能瓶颈；

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-25 15:17:37
      845
      0

    • Hudi通过DeltaStreamer消费Kafka写入Hive样例

      // hive config hoodie.datasource.hive_sync.table=delta_demo hoodie.datasource.hive_sync.partition_fields=y,ym,ymd hoodie.datasource.hive_sync

      开发者  >  其他
      作者： suwei
      4354
      2

    • DAYU Flink 任务执行时写入GUASS DB 200报错

      运行flink任务时，日志显示 内部连接失败，如下图所示：麻烦帮忙看下是什么原因导致的。

      开发者  >  其他
      作者： 软通-满小龙
      322
      1

    • 大数据Flink进阶（十）：Flink集群部署

      8.5。 1、Flink不同版本与Hadoop整合 Flink基于Yarn提交任务时，需要Flink与Hadoop进行整合。Flink1.8版本之前，Flink与Hadoop整合是通过Flink官方提供的基于对应hadoop版本编译的安装包来实现，例如：flink-1.7.2-bin-hadoop24-scala_2

      开发者  >  博客
      作者： Lansonli
      发表时间： 2023-04-09 22:24:54
      104
      0

    • 初识Flink

      ory$ tar xzf flink-*.tgz   # Unpack the downloaded archive$ cd flink-1.7.0二、启动本地Flink群集$ ./bin/start-cluster.sh  # Start Flink检查web前端ui页面在ht

      开发者  >  博客
      作者： 小米粒-biubiubiu
      发表时间： 2020-09-01 14:09:15
      2811
      0

    • HIVE的搭建配置及关联MySQL

      （2）配置文件 修改software/hive-1.2.2/conf/hive-env.sh.template为hive-env.sh。 cd /software/hive-1.2.2/conf/ cp hive-env.sh.template hive-env.sh 12 配置HAD

      开发者  >  博客
      作者： 扶醉
      发表时间： 2020-12-31 00:57:11
      3819
      0

    • spark 读hive 数据处理写入gaussdb 出现问题

      【功能模块】【操作步骤&问题现象】我用spark读Hive数据 然后写入gaussdb时  出现下述问题为了方便测试，取了hive的一条数据，然后写gaussdb  ；submit 提交到yarn集群跑的，client模式。请问是写错了，还是哪里配置的不对？谢谢【截图信息】【日志信息】（可选，上传日志内容或者附件）

      开发者  >  其他
      作者： yd_212059916
      441
      1
    总条数： 10000
    点击加载更多