//package wordcount;import java.io.IOException;import java.util.StringTokenizer;//import javax.security.auth.login.Configuration;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritabl... « 阅读全文

　　上次说到FreeBSD下搭建伪分布式，很简单，但是hadoop集群入门最难的可能就是集群的搭建和配置了，配置文件复杂，概念抽象，我尽可能简单描述真实集群的搭建和配置。hadoop集群从启动进程上来说，分为四种进程，四种，不是四个。在实际应用中，通常每台服务器只启动两种进程。首先是主节点和任务跟踪器。... « 阅读全文

　　一．Hadoop    Hadoop是一个实现了MapReduce计算模型的开源分布式并行编程框架。程序员可以借助Hadoop编写程序，将所编写的程序运行于计算机机群上，从而实现对海量数据的处理。此外，Hadoop还提供一个分布式文件系统(HDFS）及分布式数据库（HBase）用来将数据存储或部署到... « 阅读全文

　　６、海量数据实用案例Hadoop及其它海量数据技术一个吸引人之处在于它甚至允许企业回答他们尚未意识到的问题。这将帮助企业获得新产品的灵感，或者识别改善企业既有运营方式的途径。目前，为Google，Facebook和Linkedin这样的现代互联网公司以及传统企业已经存在很多成功的应用案例。我们在下面... « 阅读全文

　　Hadoop已经出了1.0版本了，但是现在市面上大多数据书籍，包括Hadoop网站上的GettingStarted都还讲的是Hadoop0.20版时的安装及配置方法，使我每次想尝试新版本前都犹豫不决，这次终于有机会安装了一遍最新版本的Hadoop，其实安装和配置的步聚和0.20版差不太多，只是常用程... « 阅读全文

　　Q1. Name the most common InputFormats defined in Hadoop?Which one is default ? Following2 are most common InputFormats defined in Hadoop-TextInputFormat-KeyValueInputFormat-SequenceFileInputFormatQ2. What is the difference between TextInput... « 阅读全文

　　   Hadoop似乎火了。150家各种规模的企业都在使用Hadoop，包括大公司摩根大通、谷歌和雅虎等，相信这个开源大数据管理系统很快将出现在你的公司里。   但是在使用Hadoop前，你最好先全面了解Hadoop的相关信息。客户和业内分析师表示，需要经过专门的培训和具备一定的分析能力才能使用Ha... « 阅读全文

　　Facebook在今年六月SIGMOD2011上发表了一篇名为“”的会议论文(pdf)，介绍了Facebook为了打造一个实时的HBase系统使用到的独门秘技。由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相似之处，因而抽时间仔细阅读了这篇论文。下面便是结合论文的内容，谈一谈我的一些看法和... « 阅读全文

　　众所周知，从Hadoop0.20.x之后，Hadoop引入了新版的MapReduceAPI，目前Hadoop已经到了1.0版本，但是网上所有MapReduce教程还是使用的旧版MapReduceAPI，因此决定研究一下新版API。首先是准备一下用于MapReduce的源文件，如下所示：1900,35... « 阅读全文

　　四、管理hadoop 默认是一个作业只会产生一个reduce也可以通过配置参数来设置每个作业默认的reduce数：通过mapred.reduce.tasks来设置默认每个作业reduce数设置的默认reduce数可以通过如下规则达到最佳默认reduce数=0.95(或1.75) * datanode数据节点数 *mapred.tasktracker.reduce.tasks.maximum(每个tasktracker上可运行的最大reduce数)nameNode在生产环境中应该是... « 阅读全文