伪分布式hbase2.6.5和hbase1.1.2的配置

1.注意hadoop和hbase的版本兼容问题

　　目前测试用：hadoop 2.6.5  Hbase 1.1.2

2.创建hadoop用户

　　Sudo useradd –m hadoop –s /bin/bash

　　创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shel.

　　Sudo passwd hadoop

　　Sudo adduser hadoop sudo

3.更新apt

　　Sudo apt-get update

　　Sudo apt-get install vim

4.安装ssh,设置无密码登陆

　　Sudo apt-get install openssh-server

　　Ssh localhost

　　Exit

　　Cd  ~/.ssh/

　　Ssh-keygen –t rsa

　　Cat ./id_rsa.pub >> ./authorized_keys

　　再使用ssh localhost就不需要密码

5.安装java环境

　　Sudo apt-get install default-jre default-jdk

　　vim ~/.bashrc

　　在文件前面添加export JAVA_HOME=/usr/lib/jvm/default-java

　　Source ~./bashrc

　　echo $JAVA_HOME

　　java -version

　　$JAVA_HOME/bin/java -version

6.安装hadoop

　　Sudo tar –zxf ~/下载/hadoop-2.6.5.tar.gz –C /usr/local

　　Cd /usr/local

　　Sudo mv ./hadoop-2.6.5/ ./hadoop

　　Sudo chown –R hadoop ./hadoop

　　Cd /usr/local/hadoop

　　./bin/hadoop version

7.Hadoop单机检测

　　Cd /usr/local/hadoop

　　Mkdir ./input

　　Cp ./etc/hadoop/*.xml ./input

　　./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

　　cat ./output/*

8.Hadoop伪分布式配置

　　Vim ./etc/hadoop/core-site.xml

　　

　　　　<configuration>

   　　　　 <property>

      　　　　   　  <name>hadoop.tmp.dir</name>

       　　　　　　 <value>file:/usr/local/hadoop/tmp</value>

     　　　　　　   <description>Abase for other temporary directories.</description>

    　　　　 </property>

   　　　　 <property>

      　　　　　　  <name>fs.defaultFS</name>

    　　　　　　    <value>hdfs://localhost:9000</value>

 　　　　   </property>

　　　　</configuration>

        

　　

　　Vim ./etc/hadoop/hdfs-site.xml

　　　　<configuration>

   　　　　 <property>

    　　　　    <name>dfs.replication</name>

     　　　　　   <value>1</value>

　　　　    </property>

   　　　　 <property>

    　　　　    <name>dfs.namenode.name.dir</name>

      　　　　  <value>file:/usr/local/hadoop/tmp/dfs/name</value>

   　　　　 </property>

   　　　　 <property>

      　　　　  <name>dfs.datanode.data.dir</name>

        　　　　<value>file:/usr/local/hadoop/tmp/dfs/data</value>

   　　　　 </property>

　　　　</configuration>

        

         配置完成后，执行namenode的格式化

         ./bin/hdfs namenode –format

          

         　　如果此处失败，出现JAVA_HOME is not set and could not be found.    那么需要检查.bashrc文件中是否设置了JAVA_HOME。如果设置，就需要在/usr/local/hadoop/etc/hadoop/hadoop-env.sh，在里面找　          到“export JAVA_HOME=${JAVA_HOME}”这行，然后，把它修改成JAVA安装路径的具体地址，比如，“export JAVA_HOME=/usr/lib/jvm/default-java”，然后，再次启动Hadoop。

        

　　开启：./sbin/start-dfs.sh

         输入：jps 来验证是否成功开启

9.创建hdfs用户目录

　　Cd /usr/local/hadoop

　　./bin/hadoop fs –mkdir –p /user/hadoop

　　./bin/hadoop fs –ls. (这个.是hdfs用户当前目录，等价于./bin/hadoop fs –ls /user/hadoop)

　　./bin/hdfs dfs –mkdir input

　　(在创建个input目录时，采用了相对路径形式，实际上，这个input目录创建成功以后，它在HDFS中的完整路径是“/user/hadoop/input”。

　　./bin/hdfs dfs –mkdir /input

　　是在HDFS的根目录下创建一个名称为input的目录

10.Hdfs文件操作

　　本地文件系统上传到hdfs

　　.

　　　　/bin/hdfs dfs -put /home/hadoop/myLocalFile.txt  input

      　　   ./bin/hdfs dfs –ls input 查看是否成功上传

　　　　./bin/hdfs dfs –cat input/myLocalFile.txt

　　Hdfs下载到本地文件系统

　　　　

　　　　./bin/hdfs dfs -get input/myLocalFile.txt  /home/hadoop/下载

　　　　Hdfs的一个目录拷贝到hdfs的另一个目录

　　　　./bin/hdfs dfs -cp input/myLocalFile.txt  /input

11.Hbase安装

　　　　sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local

　　　　sudo mv /usr/local/hbase-1.1.2 /usr/local/hbase

　　　　vim ~/.bashrc

　　　　　　export PATH=$PATH:/usr/local/hbase/bin

　　　　source ~/.bashrc

　　　　cd /usr/local

　　　　sudo chown -R hadoop ./hbase

　　　　/usr/local/hbase/bin/hbase version

12.Hbase伪分布式配置

　　Vim /usr/local/hbase/conf/hbase-env.sh

　　　　添加：export JAVA_HOME=/usr/lib/jvm/default-java

　　　　export HBASE_CLASSPATH=/usr/local/hadoop/conf

　　　　export HBASE_MANAGES_ZK=true

         vim /usr/local/hbase/conf/hbase-site.xml

         　　

　　　　设置：<configuration>

               　　　　 <property>

               　　　　　　 <name>hbase.rootdir</name>

               　　　　　　 <value>hdfs://localhost:9000/hbase</value>      

                　　　　 </property>

                 　　　　 <property>

            　　　　　　    <name>hbase.cluster.distributed</name>

            　　　　　　    <value>true</value>

              　　　　   </property>

　　　　　　</configuration>

         ssh localhost

　　cd /usr/local/hadoop

　　./sbin/start-dfs.sh

　　Jps

         cd /usr/local/hbase

　　bin/start-hbase.sh

　　jps

　　bin/hbase shell

　　exit

　　bin/stop-hbase.sh

1. 关闭hadoop：./sbin/stop-dfs.sh

1. 访问hbase web管理页面 http://172.19.32.118:16010/

　　　　访问hdfs web管理页面http://172.19.32.118:50070/

1. 解决namenode –format后，namenode正常启动但是datanode无法启动的问题。

找到namenode文件中的VERSION文件，复制文件中的clusterid 到datanode文件中的version文件的对应位置。

1. Hdfs找hbase存储的数据和.snapshot文件。

./hadoop fs –ls /

./hadoop fs –ls /hbase

1. Hbase数据迁移到本地

./bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot tttt5 -copy-to file:///home/aa