内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • Hadoop-2.9.1移植指南

      1/hadoop-project-dist/hadoop-common/ClusterSetup.html 使用hadoop自带测试程序计算PI值，可运行如下命令： ./hadoop-2.9.1/bin/yarn jar hadoop-2.9.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2

      开发者  >  其他
      作者： 一只笨熊喵
      3382
      2

    • Spark和Hadoop什么关系？

      Spark和Hadoop什么关系？

      开发者  >  其他
      作者： yd_48193519
      8641
      1

    • Kerberos认证流程简述

      之所以用它来命名一种完全认证协议，是因为整个认证过程涉及到三方：客户端、服务端和KDC（Key Distribution Center）。Kerberos实际上是一种基于票据（Ticket）的认证方式。客户端要访问服务器的资源，需要首先购买服务端认可的票据。但是这张票不能直接购

      开发者  >  博客
      作者： Lothar
      发表时间： 2020-10-18 21:28:42
      7224
      0

    • 华为云常用认证让是介绍---多因子认证 (MFA)

      多因子认证（MFA – Multi-Factor Authentication）是用户登录控制台时，除密码认证外，增加的另一层安全认证保护，以增强账号安全性。用户可选择是否启用。如启用，用户在密码认证通过后，还将收到一次性短信认证码进行二次认证。用户修改密码、手机等敏感信息时， 默认启用多因子认证，保证用户账号安全。

      开发者  >  博客
      作者： jz
      发表时间： 2017-11-25 15:01:25
      8538
      0

    • Hadoop - 入门

      SecondaryNameNode 【命令】格式：hadoop fs -[命令] 常用：hadoop fs -ls / 查看文件根目录 hadoop fs -rm 删除 hadoop fs -cat hadoop fs -put 提交文件 hadoop fs -get 取文件 hadoop dfsadmin -report

      开发者  >  博客
      作者： 正本清源
      发表时间： 2019-03-21 21:41:04
      5146
      1

    • ambari部署Hadoop集群出错

      相关的rpm包确认过跟文档的一致，完全按照文档来操作，请问这是出了什么问题呢？

      开发者  >  其他
      作者： duang
      2204
      9

    • hadoop分布式安装（一）

      #三台机器都要启动（journalnode：8480） /hadoop/soft/hadoop-2.8.3/sbin/hadoop-daemon.sh start journalnode #格式化 hadoop（主节点执行） /hadoop/soft/hadoop-2.8.3/bin/hdfs namenode

      开发者  >  博客
      作者： snowofsummer
      发表时间： 2020-08-20 13:55:20
      4199
      0

    • hadoop学习--基于Hive的Hadoop日志分析

      本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。 环境：hive-0.12.0 + Hadoop1.2.1 1、日志格式 2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2021-12-31 15:12:24
      928
      0

    • JAVA SDK AK/SK认证

      AK/SK简介AK（Access Key ID）/SK（Secret Access Key），主要用于对用户的调用行为进行鉴权和认证，相当于专用的用户名和密码。[JAVA环境准备]-示例ECS开发/测试构建下载及安装JDK：http://www.oracle.com/techne

      开发者  >  博客
      作者： 雷子
      发表时间： 2018-08-08 11:20:20
      8657
      0

    • Hadoop 2.7.5编译指导for Centos 7.6 ★★★

      地仓库中。4 Hadoop编译4.1 下载源码下载代码并解压：wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/hadoop-2.7.5-src.tar.gztar -zxvf hadoop-2.7.5-src

      开发者  >  其他
      作者： 皮卡皮卡@银河护卫队
      2205
      0

    • Hadoop入门（五）：集群配置

      分发配置文件 xsync software/hadoop-3.2.4/etc/hadoop/ 1 如下： 可以去hadoop103和hadoop104上检查一下是否成功： cat software/hadoop-3.2.4/etc/hadoop/core-site.xml 1

      开发者  >  博客
      作者： 川川菜鸟
      发表时间： 2022-08-27 14:16:17
      319
      0

    • hadoop data目录

      Resource Negotiator）是Hadoop 2.0引入的资源管理器，用于集群资源的统一管理和调度。YARN将计算框架与资源管理分离，使得Hadoop集群更加灵活和高效。 4. Hadoop Common Hadoop Common包含了Hadoop中用于支持其他模块的公共库和工具

      开发者  >  博客
      作者： 皮牙子抓饭
      发表时间： 2024-03-21 11:13:35
      10
      0

    • 什么是 Hadoop 集群？

      Hadoop 集群是由多台计算机（节点）组成的一个分布式计算系统，用于处理大规模的数据集。Hadoop 集群利用分布式计算的原理，将数据分布到集群中的多个节点上，并并行处理这些数据。Hadoop 集群是构建大数据解决方案的基础，能够有效地存储和分析海量数据。本文将详细介绍 Hadoop

      开发者  >  博客
      作者： wljslmz
      发表时间： 2024-08-12 23:48:54
      10
      0

    • 搭建Hadoop集群

      配置ECS；购买OBS并获取AK、SK信息；搭建Hadoop集群；搭建Spark集群并验证存算分离。 本实验通过搭建开源Hadoop集群帮助学员掌握Hadoop搭建方法。并且使开源Hadoop与华为云OBS服务互联，使Hadoop集群可读取OBS数据。 1.1.2 实验目的

      开发者  >  博客
      作者： yd_254825535
      发表时间： 2023-11-15 12:21:59
      71
      0

    • Hadoop随笔（一）

      的处理过程：Map和Reduce。 当Hadoop系统实现MapReduce时，数据常常按照64~128MB的数据块大小进行分发，每个数据块会被复制两次，然后加载到Hadoop分布式文件系统。MapReduce程序启动的时候，Hadoop系统会把程序运行依赖库拷贝到各个计算节点。

      开发者  >  博客
      作者： ArimaMisaki
      发表时间： 2022-08-08 15:07:21
      162
      0

    • 利用nmon工具识别hadoop测试场景的IO瓶颈[hibench] [开源apache hadoop] ★☆☆

      背景：不少情况下为了快速摸底2种不同硬件搭配的性能差异，大家也会去选择用单机测试hadoop的性能对比。一般不会再去搭建专门的监控软件，这种情况下用nmon来做性能监控就比较方便。目的：对于多核的arm处理器，测试时要尽量将其CPU的能力发挥出来，尽量避免IO或者网络成为瓶颈阻塞

      开发者  >  其他
      作者： eter
      2272
      0

    • Hadoop宕机

      1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数： yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB） 2）如果写入文件过量造成NameNode宕机。那么调

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-27 16:02:59
      1724
      0

    • 五十七、centos创建hadoop用户（修改hadoop用户密码，目录赋予hadoop用户权限等......）

      2、创建一个名为hadoop的用户，并归到hadoops的组下 useradd -g hadoops hadoop 查看所有用户，新增用户默认排在最后 cat /etc/passwd 3、切换用户 su hadoop 4、修改hadoop目录的归属用户为hadoop用户

      开发者  >  博客
      作者： 托马斯-酷涛
      发表时间： 2022-05-25 15:08:58
      375
      0

    • Hadoop历史简介

      Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。 Google和Yahoo对Hadoop的贡献功不可没。 Hadoop核心 Hadoop的核心是HDFS和Map-Reduce，而两者只

      开发者  >  博客
      作者： 最后一个好人
      发表时间： 2020-11-24 08:44:08
      1168
      0

    • Hadoop概念理解

      (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。理解Hadoop概念hadoop是基于分布式处理的框架，可以不关心底层物理硬件的性能，管理大量的集群节点（几千个）。hadoop的核心技术是hdfs和mapreduce。hdfs是分布式文件系统，真正的解决

      开发者  >  博客
      作者： 风中的叶子
      发表时间： 2019-09-25 11:38:58
      3895
      0
    总条数： 10000
    点击加载更多