Hadoop入门前的了解

小渣渣

hadoop是什么？
(1)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。
(2)Hadoop就是一个分布式计算的解决方案.

hadoop能做什么？
hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中    的 自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）
hadoop最新版本下载地址：http://hadoop.apache.org/releases.html

在Windows上构建和安装Hadoop 2.x或更新版本，链接：https://wiki.apache.org/hadoop/Hadoop2OnWindows

1.介绍

Hadoop版本2.2以上包括对Windows的本机支持。 官方Apache Hadoop版本不包括Windows二进制文件（截至2014年1月）。 但是，从源代码构建Windows包相当简单。

Hadoop是一个包含许多组件的复杂系统。 在尝试构建或安装之前，或者第一次在高级别上进行一些熟悉是有帮助的。 如果您需要排除故障，则需要熟悉Java。


Hadoop开发人员在开发和测试过程中使用了Windows Server 2008和Windows Server 2008 R2。 由于Win32 API与相应服务器SKU的相似性，Windows Vista和Windows 7也可能工作。 我们还没有在Windows XP或Windows的任何早期版本上进行测试，这些都不太可能。 在Windows XP或更早版本中报告的任何问题将被视为无效。

不要尝试在Cygwin中运行安装。 Cygwin既不要求也不支持。