内容选择
    内容分类
    学堂 博客 论坛 开发服务 开发工具 直播 视频 用户
    时间
    一周 一个月 三个月
    内容选择
    全部
    内容选择
    内容分类
    • 学堂
    • 博客
    • 论坛
    • 开发服务
    • 开发工具
    • 直播
    • 视频
    • 用户
    时间
    • 一周
    • 一个月
    • 三个月
    重置 确定

    • 获取认证信息

      获取认证信息 获取AKSK AK/SK（Access Key ID/Secret Access Key）即访问密钥，包含访问密钥ID（AK）和秘密访问密钥（SK）两部分，华为云通过AK识别用户的身份，通过SK对请求数据进行签名验证，用于确保请求的机密性、完整性和请求者身份的正确性。

      开发者 >  开发服务

    • hadoop分布式安装（一）

      #三台机器都要启动（journalnode：8480） /hadoop/soft/hadoop-2.8.3/sbin/hadoop-daemon.sh start journalnode #格式化 hadoop（主节点执行） /hadoop/soft/hadoop-2.8.3/bin/hdfs namenode

      开发者  >  博客
      作者： snowofsummer
      发表时间： 2020-08-20 13:55:20
      4199
      0

    • Hadoop 文件系统操作

      本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。当前华为云集群 hadoop 命令存在于目录 /opt/Bigdata/hadoop/hadoop/bin/hadoop 详情请点击博文链接：https://bbs

      开发者  >  其他
      作者： AI资讯
      1562
      0

    • Hadoop-2.9.1移植指南

      1/hadoop-project-dist/hadoop-common/ClusterSetup.html 使用hadoop自带测试程序计算PI值，可运行如下命令： ./hadoop-2.9.1/bin/yarn jar hadoop-2.9.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2

      开发者  >  其他
      作者： 一只笨熊喵
      3382
      2

    • Hadoop - 入门

      SecondaryNameNode 【命令】格式：hadoop fs -[命令] 常用：hadoop fs -ls / 查看文件根目录 hadoop fs -rm 删除 hadoop fs -cat hadoop fs -put 提交文件 hadoop fs -get 取文件 hadoop dfsadmin -report

      开发者  >  博客
      作者： 正本清源
      发表时间： 2019-03-21 21:41:04
      5146
      1

    • Spark和Hadoop什么关系？

      Spark和Hadoop什么关系？

      开发者  >  其他
      作者： yd_48193519
      8643
      1

    • hadoop学习--基于Hive的Hadoop日志分析

      本文将本地的hadoop日志，加载到Hive数据仓库中，再过滤日志中有用的日志信息转存到Mysql数据库里。 环境：hive-0.12.0 + Hadoop1.2.1 1、日志格式 2014-04-17 22:53:30,621 INFO org.apache.hadoop.hdfs

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2021-12-31 15:12:24
      928
      0

    • JAVA SDK AK/SK认证

      AK/SK简介AK（Access Key ID）/SK（Secret Access Key），主要用于对用户的调用行为进行鉴权和认证，相当于专用的用户名和密码。[JAVA环境准备]-示例ECS开发/测试构建下载及安装JDK：http://www.oracle.com/techne

      开发者  >  博客
      作者： 雷子
      发表时间： 2018-08-08 11:20:20
      8657
      0

    • hadoop data目录

      Resource Negotiator）是Hadoop 2.0引入的资源管理器，用于集群资源的统一管理和调度。YARN将计算框架与资源管理分离，使得Hadoop集群更加灵活和高效。 4. Hadoop Common Hadoop Common包含了Hadoop中用于支持其他模块的公共库和工具

      开发者  >  博客
      作者： 皮牙子抓饭
      发表时间： 2024-03-21 11:13:35
      10
      0

    • 什么是 Hadoop 集群？

      Hadoop 集群是由多台计算机（节点）组成的一个分布式计算系统，用于处理大规模的数据集。Hadoop 集群利用分布式计算的原理，将数据分布到集群中的多个节点上，并并行处理这些数据。Hadoop 集群是构建大数据解决方案的基础，能够有效地存储和分析海量数据。本文将详细介绍 Hadoop

      开发者  >  博客
      作者： wljslmz
      发表时间： 2024-08-12 23:48:54
      10
      0

    • 搭建Hadoop集群

      配置ECS；购买OBS并获取AK、SK信息；搭建Hadoop集群；搭建Spark集群并验证存算分离。 本实验通过搭建开源Hadoop集群帮助学员掌握Hadoop搭建方法。并且使开源Hadoop与华为云OBS服务互联，使Hadoop集群可读取OBS数据。 1.1.2 实验目的

      开发者  >  博客
      作者： yd_254825535
      发表时间： 2023-11-15 12:21:59
      71
      0

    • Hadoop历史简介

      Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。 Google和Yahoo对Hadoop的贡献功不可没。 Hadoop核心 Hadoop的核心是HDFS和Map-Reduce，而两者只

      开发者  >  博客
      作者： 最后一个好人
      发表时间： 2020-11-24 16:44:08
      3971
      0

    • Hadoop概念理解

      (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。理解Hadoop概念hadoop是基于分布式处理的框架，可以不关心底层物理硬件的性能，管理大量的集群节点（几千个）。hadoop的核心技术是hdfs和mapreduce。hdfs是分布式文件系统，真正的解决

      开发者  >  博客
      作者： 风中的叶子
      发表时间： 2019-09-25 11:38:58
      3895
      0

    • Hadoop宕机

      1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数： yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB） 2）如果写入文件过量造成NameNode宕机。那么调

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-27 16:02:59
      1724
      0

    • ambari部署Hadoop集群出错

      相关的rpm包确认过跟文档的一致，完全按照文档来操作，请问这是出了什么问题呢？

      开发者  >  其他
      作者： duang
      2204
      9

    • 五十七、centos创建hadoop用户（修改hadoop用户密码，目录赋予hadoop用户权限等......）

      2、创建一个名为hadoop的用户，并归到hadoops的组下 useradd -g hadoops hadoop 查看所有用户，新增用户默认排在最后 cat /etc/passwd 3、切换用户 su hadoop 4、修改hadoop目录的归属用户为hadoop用户

      开发者  >  博客
      作者： 托马斯-酷涛
      发表时间： 2022-05-25 15:08:58
      375
      0

    • Hadoop学习--Hive安装与配置

      最近在学习Hive的安装与使用，第一次使用还是遇到了很多问题。下面介绍下具体的过程。 开发环境： ubuntu10.04  jdk:1.7.0_40 Hadoop:1.2.1 1、下载安装包 首先从http://hive.apache.org/downloads.html下载并解压到一个目录下，笔者是/root/hive。

      开发者  >  博客
      作者： 格图洛书
      发表时间： 2021-12-30 14:37:16
      742
      0

    • Hadoop入门（五）：集群配置

      分发配置文件 xsync software/hadoop-3.2.4/etc/hadoop/ 1 如下： 可以去hadoop103和hadoop104上检查一下是否成功： cat software/hadoop-3.2.4/etc/hadoop/core-site.xml 1

      开发者  >  博客
      作者： 川川菜鸟
      发表时间： 2022-08-27 14:16:17
      319
      0

    • Hadoop随笔（一）

      的处理过程：Map和Reduce。 当Hadoop系统实现MapReduce时，数据常常按照64~128MB的数据块大小进行分发，每个数据块会被复制两次，然后加载到Hadoop分布式文件系统。MapReduce程序启动的时候，Hadoop系统会把程序运行依赖库拷贝到各个计算节点。

      开发者  >  博客
      作者： ArimaMisaki
      发表时间： 2022-08-08 15:07:21
      162
      0

    • 基于Docker搭建Hadoop集群

      基于Docker搭建Hadoop集群将Hadoop打包到Docker镜像中，就可以快速的在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。Hadoop的master和slave分别运行在不同的Docker容器中，其中NameNode、ResourceManager运行

      开发者  >  博客
      作者： jimmybhb
      发表时间： 2019-10-29 17:11:33
      6611
      1
    总条数： 10000
    点击加载更多