内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Hadoop学习之MapReduce(六)

      在这篇文章中主要关注MapReduce作业的输入和输出，由于Hadoop版本的变化及本人对这些变化了解的还不够深入，难免有描述不清楚的地方，会在进一步学习后更正不准确的地方。 作业输入 InputFormat描述了MapRe

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2021-12-29 18:31:53
      628
      0

    • Hadoop NameNode的ZKFC机制

      转载原贴 https://www.cnblogs.com/cssdongl/p/6046397.htmlNameNode的HA可以个人认为简单分为共享editLog机制和ZKFC对NameNode状态的控制在此之前，我先提几个问题：一般导致NameNode切换的原因ZKFC的作用

      开发者  >  博客
      作者： 养猪技术专家
      发表时间： 2020-06-05 12:02:31
      4259
      1

    • hadoop 图解 mr过程

      Hadoop MapReduce 是一个分布式数据处理框架，它将数据划分为多个块，并在集群中的多个节点上并行处理这些数据。下面是 Hadoop MapReduce 过程的详细说明和代码案例： 数据输入：首先，Hadoop MapReduce 需要输入数据。这些数据通常被划分为多个块，每个块大小为

      开发者  >  博客
      作者： i-WIFI
      发表时间： 2024-10-09 20:36:43
      51
      0

    • Hadoop学习之MapReduce(一)

      figuration）。Hadoop的作业客户端提交作业（jar文件或者可执行文件等）和JobTrackerde 配置信息，JobTracker开始承担分发软件/配置信息到从节点上，调度任务和监控任务，向作业客户端提供状态和诊断信息。 虽然Hadoop框架是用Java语言实现的，但是MapReduce应用程序不

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2022-01-01 14:23:27
      736
      0

    • 【鲲鹏翱翔】大数据组件01-Hadoop移植安装指南

      skip=true4 .示例测试使用hadoop自带测试程序计算PI值cd hadoop-3.1.3-src/hadoop-dist/target/hadoop-3.1.3./bin/yarn jar   ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3

      开发者  >  其他
      作者： 南七技校林书豪
      2670
      0

    • SpringSecurity中web权限方案认证(查询数据库认证)

      BaseMapper<Users> { } 5、在MyUserDetailsService调用mapper里面的方法查询数据库进行用户认证 package com.atguigu.springsecuritydemo1.service; import com.atguigu

      开发者  >  博客
      作者： CodeLeader
      发表时间： 2023-02-04 08:46:34
      60
      0

    • 大数据开发，Hadoop Spark太重？你试试esProc SPL

      大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。Hadoop/Spark之重Hadoop的设计目标是成百上

      开发者  >  其他
      作者： 双倍芝士。
      58
      0

    • hadoop文件的序列化

      va的序列化机制对Hadoop来说是不合适的。于是Hadoop设计了自己的序列化机制。 为什么序列化对Hadoop很重要？ 因为Hadoop在集群之间进行通讯或者RPC调用的时候，需要序列化，而且要求序列化要快，且体积要小，占用带宽要小。所以必须理解Hadoop的序列化机制。 序

      开发者  >  博客
      作者： Smy1121
      发表时间： 2019-06-20 14:26:02
      3071
      0

    • Hadoop HDFS学习之HDFS概述

      需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2、HDFS定义 HDFS（Hadoop Distributed File System），是一个文件系统，用于存储文件，通过目录树来定位文件；其次它是分布式的，由很多服务器

      开发者  >  博客
      作者： 孤星恋悦
      发表时间： 2021-12-16 08:50:32
      981
      0

    • OSPF技术连载8：OSPF认证：明文认证、MD5认证和SHA-HMAC验证

      供了多种认证机制。 本文将介绍OSPF认证的三种常见方式：明文认证、MD5认证和SHA-HMAC身份验证。 一、明文认证 明文认证是最简单的一种OSPF认证方式。在明文认证中，OSPF消息中的认证字段以明文形式传输。这意味着任何能够截获OSPF消息的人都可以读取认证字段中的信息。

      开发者  >  博客
      作者： wljslmz
      发表时间： 2023-07-21 17:51:39
      33
      0

    • Hadoop-2.6.0-cdh5.7.0安装详解

      +-----------------+ hadoop:hadoop:/home/hadoop:> hadoop:hadoop:/home/hadoop:>cp .ssh/id_rsa.pub ~/.ssh/authorized_keys hadoop:hadoop:/home/hadoop:>cd

      开发者  >  博客
      作者： TT-千叶
      发表时间： 2022-12-28 03:12:05
      208
      0

    • 带你快速搭建Hadoop的HA集群!

      我们手动启动它。 hadoop-daemon.sh start namenode 前面验证了HA，现在我们来认证一下Yarn！ 任意一个节点，运行一下hadoop提供的demo中的WordCount程序： hadoop jar share/hadoop/mapreduce

      开发者  >  博客
      作者： 大数据梦想家
      发表时间： 2021-09-28 15:13:37
      988
      0

    • 【Enabled认证】认证物理组网

      混合云Enabled认证物理组网图测试认证请在附件中提取

      开发者  >  其他
      作者： Ragnar
      5319
      0

    • Java: Hadoop文件系统的读写操作

      所需jar包路径： hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin

      开发者  >  博客
      作者： 彭世瑜
      发表时间： 2021-08-13 15:28:15
      992
      0

    • hadoop学习--K-Means(聚类算法)

      本例子介绍使用hadoop做聚类分析。通过mapreduce实现KMeans算法。 1、KMeans算法介绍： k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2021-12-31 14:49:16
      655
      0

    • 认证

      换插座还要认证，认证几次都差几分，可咋整啊……

      开发者  >  其他
      作者： 坐看风云起
      215
      5

    • Hue连接开启ldap认证的impala

      n=true          base_dn="ou=Peoples,dc=hadoop,dc=com"          bind_dn="cn=root,ou=Peoples,dc=hadoop,dc=com"          bind_password="LdapChangeMe@123"

      开发者  >  博客
      作者： 小四三
      发表时间： 2020-12-10 11:14:59
      9479
      0

    • Linux中安装配置hadoop集群

      3.2 配置hadoop 1. 解压下载的hadoop安装包，并修改配置文件。我的解压目录是（/home/hadoop/hadoop-2.7.1），即进入/home/hadoop/文件夹下执行下面的解压缩命令。 tar -zxvf hadoop-2.7.1.tar

      开发者  >  博客
      作者： 风吹稻花香
      发表时间： 2021-06-04 16:37:39
      1316
      0

    • hadoop命令行查看任务统计和日志

      web接口有时候配置到业务面，管理面网络接入查看web不方便，可以用下列命令查看统计信息和日志查看任务信息：hadoop job -ist all或者用：yarn application -ist 加上app状态yarn application -list -appStates FINISHED查看任务信息：yarn

      开发者  >  其他
      作者： eter
      601
      0

    • Hadoop Could not resolve hostname XX

      6. 检查主机文件权限 确保Hadoop配置文件和相应的数据目录的权限正确设置。如果文件或目录的权限设置不正确，可能会导致Hadoop无法读取或写入相关文件。 7. 重启Hadoop服务 当您进行上述检查并进行必要的更改后，请尝试重新启动Hadoop集群中的所有服务，并观察是否解决了Could

      开发者  >  博客
      作者： 皮牙子抓饭
      发表时间： 2024-07-12 22:33:38
      281
      0
    总条数： 10000
    点击加载更多