`
goon
  • 浏览: 181285 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop问题记录1

阅读更多

eclipse调试时遇到如下问题:

12/02/09 10:06:30 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
12/02/09 10:06:30 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/02/09 10:06:30 INFO mapred.FileInputFormat: Total input paths to process : 2
12/02/09 10:06:30 INFO mapred.JobClient: Running job: job_local_0001
12/02/09 10:06:30 INFO mapred.FileInputFormat: Total input paths to process : 2
12/02/09 10:06:30 INFO mapred.MapTask: numReduceTasks: 1
12/02/09 10:06:30 INFO mapred.MapTask: io.sort.mb = 100
12/02/09 10:06:31 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:781)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:350)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
	at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
12/02/09 10:06:31 INFO mapred.JobClient:  map 0% reduce 0%
12/02/09 10:06:31 INFO mapred.JobClient: Job complete: job_local_0001
12/02/09 10:06:31 INFO mapred.JobClient: Counters: 0
java.io.IOException: Job failed!
	at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
	at com.hadoop.test.Test1.main(Test1.java:50)

 解决:

修改java类的vm内存run——>config——>vm argument,添加参数: -Xmx1024m。也可以修改hadoop-env.sh中的HADOOP_HEAPSIZE配置

分享到:
评论

相关推荐

    基于Hadoop的海量交易记录查询系统研究

    本文通过对 Hadoop 的深入分析和研究,根据交易记录查询系统的需求,设计并实现了 基于 Hadoop 的海量交易记录查询系统。首先对 Hadoop 及其相关技术做了研究,着重介绍了 Hadoop 云计算框架中的 HDFS 分布式文件...

    hadoop作业记录档案

    记录hadoop作业,

    Hadoop 分析统计学生考试成绩1

    Hadoop 分析统计学生考试成绩1

    VMware7.1虚拟机+Ubuntu12.04搭建hadoop环境记录

    小白搭建hadoop完全分布式环境笔记,步骤详细,原创

    hadoop 索引相关记录

    NULL 博文链接:https://sealbird.iteye.com/blog/1340283

    Hadoop 分布式集群搭建_部分1.docx

    Hadoop 分布式集群搭建 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,...

    Hadoop实战中文版

    书籍目录: 第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 1.1 为什么写《Hadoop 实战》 1.2 什么是Hadoop 1.3 了解分布式系统和Hadoop 1.4 比较SQL 数据库和Hadoop 1.5 理解MapReduce 1.5.1 动手...

    hadoop-2.2编译安装详解

    Hadoop-2.2.0编译安装步骤 一,准备环境 1.1 分别设置三台节点ip地址... 192.168.80.91 Slave1.Hadoop 192.168.80.92 Slave2.Hadoop 1.5 建立hadoop用户之间相互信任(互相无密码登陆)此步骤所有节点都要操作

    Hadoop学习时间轴

    Hadoop学习时间轴 MapReduce 记录处理等

    Hadoop权威指南 第二版(中文版)

    第1章 初识Hadoop  数据!数据!  数据存储与分析  与其他系统相比  关系型数据库管理系统  网格计算  志愿计算  1.3.4 Hadoop 发展简史  Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce  一个气象数据...

    hadoop-管理

    1.处理hadoop的datanode宕机 cd path/to/hadoop 走到hadoop的bin目录 ./hadoop-daemon.sh start datanode ./hadoop-daemon.sh start tasktracker 2.处理hadoop的namenode宕机 ./hadoop-daemon.sh start namenode...

    hadoop-2.10.0jar.zip

    包含hadoop平台Java开发的所有所需jar包,例如activation-1.1.jar apacheds-i18n-2.0.0-M15.jar apacheds-kerberos-codec-2.0.0-M15.jar api-asn1-api-1.0.0-M20.jar api-util-1.0.0-M20.jar asm-3.2.jar avro-1.7.7...

    Hadoop集群部署实例

    例,任务跑完就自动释放掉服务器,本文记录下 Hadoop 集群的搭建过程,方便自己日后查看,也希望能帮到初学者,本文所有软 件都是通过 yum 安装,大家也可以下载相应的二进制文件进行安装,使用哪种方式安装,从属...

    Ubuntu20.04配置Hadoop.txt

    本教程是根据个人在UBUNTU虚拟机上安装配置Hadoop2.7.3的实际操作步骤一步步记录下来的,大部分指令操作的目的都加了注释以方便理解。(本教程很详细,如果还是遇到问题可以直接咨询楼主,不会让你的积分百花的)

    非root权限下配置linux hadoop集群自动SSH记录

    linux hadoop集群简单几步完成SSH配置。 不可思议。真的很简单。

    Hadoop实战中文版.PDF

    1186.2 生产集群上的监视和调试 1236.2.1 计数器 1236.2.2 跳过坏记录 1256.2.3 用IsolationRunner重新运行出错的任务 1286.3 性能调优 1296.3.1 通过combiner来减少网络流量 1296.3.2 减少输入数据量...

    Hadoop权威指南(中文版)2015上传.rar

    第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用...

    Hadoop shell常用命令

    该文档记录了在linux的shell环境下执行的hadoop的相关操作命令,包括多hafs文件的相关操作

    使用docker部署hadoop集群的详细教程

    网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程。 目标:使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群 准备: 首先要有一台内存8G以上的centos7机器,我用的是阿里云主机...

    基于hadoop商品推荐系统

    1、计算物品之间的相似度:可依据物品共现次数、余弦夹角、欧氏距离这三种方法计算得到物品之间的相似度。 2、根据物品的相似度和用户的历史购买记录给用户生成推荐列表 最终推荐的是什么物品,是由推荐度决定的。...

Global site tag (gtag.js) - Google Analytics