内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • Flink

    Runtime 核心层:Flink分布式计算框架的核心实现层,负责分布式作业的执行、映射转换、任务调度等。 DataStream 和 DataSet 转成同意的可执行的 Task Operator 。 物理部署层:目前Flink支持本地、集群、云、容器部署,Flink通过盖层能够支持不

    作者: 武师叔
    发表时间: 2022-09-29 08:37:47
    173
    0
  • Flink学习笔记03:项目打包提交到Flink集群上运行

    WordCount 三、利用mvn命令打包Maven项目 三、上传项目jar包到Flink集群主节点 四、启动Flink Standalone集群 五、应用提交到Flink集群运行 (一)不设置输入参数,只设置输出参数 (二)既设置输入参数,又设置输出参数

    作者: howard2005
    发表时间: 2022-03-24 16:25:58
    505
    0
  • MySQL数据库数据迁移到MRS HIVE

    MySQL数据库数据迁移到MRS HIVE 场景说明 创建CDM集群并绑定EIP 创建MySQL连接 创建MRS HIVE连接 创建迁移作业 父主题: 使用场景

  • 【DLI】【Flink输出流】Flink可以直接数据转储到DLI内表吗?

    请问DLI的Flink可以直接数据转储到DLI内表吗?

    作者: Sinyo
    1137
    1
  • 创建Flink OpenSource作业从Kafka读取数据写入到DWS

    制台,单击“作业管理 > Flink作业”,在Flink作业管理界面,单击“创建作业”。在创建队列界面,类型选择“Flink OpenSource SQL”,名称填写为:FlinkKafkaDWS。单击“确定”,跳转到Flink作业编辑界面。在Flink OpenSource S

    作者: yd_228714723
    679
    4
  • 【DLI】【Flink】我想要使用DLI flink对接我们自建的mysql机器,请问如何操作

    RT,请专家指导下

    作者: 数据湖爱好者
    1143
    1
  • HIVE的搭建配置及关联MySQL

    775 /user/hive/warehouse 12 (5)启动Hive hive 1 四、hive基本操作 1.基本操作(语法类似于MySQL) 2.显示所有数据库:show databases; 3.使用数据库(默认数据库default):use 数据库名; 4.显示使用数据库下所有表:show

    作者: 扶醉
    发表时间: 2020-12-30 16:57:11
    2139
    0
  • 初识Flink

    directory$ tar xzf flink-*.tgz # Unpack the downloaded archive$ cd flink-1.7.0 二、启动本地Flink群集 $ ./bin/start-cluster.sh # Start Flink 检查web前端ui页

    作者: 小米粒-biubiubiu
    发表时间: 2020-12-03 16:19:16
    2015
    0
  • 大数据Flink进阶(六):Flink入门案例

    录中创建"words.txt"文件,向文件中写入以下内容,方便后续使用Flink编写WordCount实现代码。 hello Flink hello MapReduce hello Spark hello Flink hello Flink hello Flink hello Flink

    作者: Lansonli
    发表时间: 2023-03-20 11:47:20
    212
    0
  • Flink学习笔记04:项目打包提交到Flink集群上运行(Scala版)

    ScalaWordCount 三、利用mvn命令打包Maven项目 三、上传项目jar包到Flink集群主节点 四、启动Flink Standalone集群 五、应用提交到Flink集群运行 (一)不设置输入参数,只设置输出参数 (二)既设置输入参数,又设置输出参数

    作者: howard2005
    发表时间: 2022-03-26 15:19:52
    571
    0
  • 数据湖(十七):Flink与Iceberg整合DataStream API操作

    Flink与Iceberg整合DataStream API操作 目前Flink支持使用DataStream API 和SQL API 方式实时读取和写入Iceberg表,建议大家使用SQL API 方式实时读取和写入Iceberg表。 Iceberg 支持的Flink版本为1.11

    作者: Lansonli
    发表时间: 2022-07-15 00:33:14
    1217
    0
  • Hudi通过DeltaStreamer消费Kafka写入Hive样例

    // hive config hoodie.datasource.hive_sync.table=delta_demo hoodie.datasource.hive_sync.partition_fields=y,ym,ymd hoodie.datasource.hive_sync

    作者: suwei
    4350
    2
  • Hive基础03、Hive基本库使用

    动​编辑 Hive基础03、Hive基本使用 目录 1、查看hive数据库 2、进入Hive 3、库操作 1、查看hive数据库 登录MySQL数据库 mysql -u root -p 点击并拖拽以移动 密码【123456】  查看【hive数据库 show

    作者: 红目香薰
    发表时间: 2022-07-29 02:13:15
    190
    0
  • HiveSQL

    HiveSQL代码优化原则 image.png 优化的基本流程如下: 第一,选择性能评估项及各自目标,常见的评估性能指标有程序的时延和吞吐量; 第二,如果系统是由多个组件和服务构成,需要分组件和服务定义性能目标; 第三,明确当前环境下各个组件的性能; 第四,分析定位性能瓶颈;

    作者: 百忍成金的虚竹
    发表时间: 2021-03-25 15:17:37
    845
    0
  • 大数据Flink进阶(一):Apache Flink是什么

    致力于Flink技术的发展和商业化,2019年阿里巴巴收购了Data Artisans公司,并将其开发的分支Blink开源,越来越多的公司开始Flink应用到他们真实的生产环境中,并在技术和商业上共同推动Flink的发展。 Flink逐步被广泛使用不仅仅是因为 Flink支持高吞吐、低延迟和

    作者: Lansonli
    发表时间: 2023-03-13 10:52:19
    1023
    0
  • DAYU Flink 任务执行时写入GUASS DB 200报错

    运行flink任务时,日志显示 内部连接失败,如下图所示:麻烦帮忙看下是什么原因导致的。

    作者: 软通-满小龙
    321
    1
  • spark 读hive 数据处理写入gaussdb 出现问题

    【功能模块】【操作步骤&问题现象】我用spark读Hive数据 然后写入gaussdb时  出现下述问题为了方便测试,取了hive的一条数据,然后写gaussdb  ;submit 提交到yarn集群跑的,client模式。请问是写错了,还是哪里配置的不对?谢谢【截图信息】【日志信息】(可选,上传日志内容或者附件)

    作者: yd_212059916
    438
    1
  • 大数据Flink进阶(十):Flink集群部署

    8.5。 1、Flink不同版本与Hadoop整合 Flink基于Yarn提交任务时,需要Flink与Hadoop进行整合。Flink1.8版本之前,Flink与Hadoop整合是通过Flink官方提供的基于对应hadoop版本编译的安装包来实现,例如:flink-1.7.2-bin-hadoop24-scala_2

    作者: Lansonli
    发表时间: 2023-04-09 22:24:54
    104
    0
  • Flink安装部署

    一、flink部署模式 flink有三种部署模式1.1 local本地模式1.2 Sandalone独立集群模式1.3 Flink on Yarn模式 二、flink部署 企业级生产环境选用Flink on Yarn模式部署 2.1 选择flink版本 使用flink1.13.5

    作者: Smy1121
    发表时间: 2023-01-03 02:03:28
    129
    0
  • 【FI】【执行hive sql】代码适配FI 执行hive sql 执行不成功

    【功能模块】 Hive 【操作步骤&问题现象】我们在适配华为FI,其中有一个一个功能是执行hive sql,在本地验证通过,但是上了华为FI以后执行代码报错,希望专家指导【截图信息】【日志信息】(可选,上传日志内容或者附件)

    作者: A-code-porter
    1160
    3