初识Hadoop和HBase大数据

小渣渣

最近公司需要用到hbase存储大量数据，经理给了解的相关知识，也给我们上了一课，今天就来接触一下吧，集群环境下部署。
环境：

系统：

CentOS Linux release 7.5.1804 (Core)

命令：

登录可见。

Java版本：

java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)


命令：

登录可见。

Hadoop版本：

Hadoop 2.8.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b3fe56402d908019d99af1f1f4fc65cb1d1436a2
Compiled by jdu on 2017-12-05T03:43Z
Compiled with protoc 2.5.0
From source with checksum 9ff4856d824e983fa510d3f843e3f19d
This command was run using /home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/hadoop-common-2.8.3.jar


命令：

登录可见。

HBase版本：

2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, Fri Oct 26 19:27:03 PDT 2018

hbase shell命令：

登录可见。

可以使用以下命令启动HBase shell

登录可见。

[root@master ~]# find / -name "hbase"
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/bin/hbase
/home/itsvse/apache/hbase-2.1.1/lib/ruby/hbase

[root@master ~]# cd /home/itsvse/apache/hbase-2.1.1/bin/
[root@master bin]# ./hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hbase-2.1.1/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

HBase Shell
Use "help" to get list of supported commands.
Use "exit" to quit this interactive shell.
For Reference, please visit: http://hbase.apache.org/2.0/book.html#shell
Version 2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, Fri Oct 26 19:27:03 PDT 2018
Took 0.0050 seconds                                                                                                                                                            
hbase(main):001:0>
hbase(main):002:0*
hbase(main):003:0* version
2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, Fri Oct 26 19:27:03 PDT 2018
Took 0.0006 seconds                                                                                                                                                            
hbase(main):004:0>

介绍

Hadoop安装启动成功之后，执行jps命令查看进程是否启动成功，若成功（未测试）；

[hadoop@master ~]$jps
主节点会出现：
NameNode
JobTracker
SecondaryNameNode

slave1节点出现：
DateNode
TaskTracker

slave2节点出现：
DateNode
TaskTracker


HBase版本支持的Hadoop版本

S 代表支持
X 代表不支持
NT 代表没有测试



参考链接：http://hbase.apache.org/book.html#hadoop

HBase Shell的一些基本操作命令，列出了几个常用的HBase Shell命令，如下：

名称	命令表达式
查看存在哪些表	list
创建表	create '表名称', '列名称1','列名称2','列名称N'
添加记录	put '表名称', '行名称', '列名称:', '值'
查看记录	get '表名称', '行名称'
查看表中的记录总数	count '表名称'
删除记录	delete '表名' ,'行名称' , '列名称'
删除一张表	先要屏蔽该表，才能对该表进行删除，第一步 disable '表名称' 第二步 drop '表名称'
查看所有记录	scan "表名称"
查看某个表某个列中所有数据	scan "表名称" , ['列名称:']
更新记录	就是重写一遍进行覆

理解

Hadoop分布式文件系统(HDFS)，HBase是基于Hadoop之上的数据存储项目，Hive是做数据分析用的。

（完）

小渣渣

Hadoop web端口介绍：https://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/ClusterSetup.html
最新版的链接：https://hadoop.apache.org/docs/c ... n/ClusterSetup.html

Daemon	Notes
NameNode	Default HTTP port is 50070.
ResourceManager	Default HTTP port is 8088.
MapReduce JobHistory Server	Default HTTP port is 19888.

HBase Web默认端口为：16010

销的

坛主QQ多少给个联系

小渣渣

Hadoop-3.1.1+ 已经支持 HBase-2.2.x。

2019年2月6日，发布 Hadoop 3.1.2 版本

https://hadoop.apache.org/releases.html