Hadoop/HBase 配置snappy压缩

Hadoop/HBase 开启snappy压缩

参考链接
hadoop-snappy Google Code
snappy.compression hbase docs
cnblogs参考资料

1. install maven

• 下载maven安装包(apache-maven-xxx.bin.tar.gz) 点击下载
• 解压文件
  ar -zxvf apache-maven-3.2.1-bin.tar.gz
• 修改/etc/profile，把maven执行路径添加到环境变量
  export MVN_HOME=/home/qiao/apache-maven-3.2.1
  export PATH=$MVN_HOME/bin:$PATH
• source /etc/profile使环境变量生效

2. install snappy

• 下载snappy click herer to download
• 解压缩 tar -zxvf snappy-xxx.tar.gz
• 在解压后的snappy目录中编译安装snappy动态链接库到本地
  $ ./configure
  $ make
  $ make install
• 默认安装到/usr/local/lib中，颗粒在这个目录中查看,如果出现如下内容，则表示snappy动态链接库安装成功
  $ cd /usr/local/lib
  $ ls
  $ libsnappy.a libsnappy.la libsnappy.so libsnappy.so.1 libsnappy.so.1.2.1

3. install hadoop-snappy

• 下载hadoop-snappy,用到svn
  svn checkout http://hadoop-snappy.googlecode.com/svn/trunk/ hadoop-snappy
• 安装hadoop-snappy,用maven编译安装,将其安装到/usr/local目录中
  mvn package -Dsnappy.prefix=/usr/local
• 接下来就是复制文件，修改配置文件
  - hadoop
  1. 把hadoop-snappy/target/hadoop-snappy-0.0.1-SNAPSHOT目录中lib目录下所有文件拷贝到Hadoop的lib目录下
  cp -r hadoop-snappy-0.0.1-SNAPSHOT/lib/* <HADOOP_HOME>/lib
  2. 修改Hadoop配置文件，core-site.xml，添加如下内容

            <property>
                <name>io.compression.codecs</name>
                <value>
                    org.apache.hadoop.io.compress.GzipCodec,
                    org.apache.hadoop.io.compress.DefaultCodec,
                    org.apache.hadoop.io.compress.BZip2Codec,
                    org.apache.hadoop.io.compress.SnappyCodec
                </value>
            </property>

    3. 修改Hadoop配置文件，hadoop-env.sh
            export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
- hbase
    1. 将Hadoop文件夹lib/native/Linux-amd64-64/下所有的文件拷贝到相应的hbase目录下
            cp -r $HADOOP_HOME/lib/native/Linux-amd64-64/* $HBASE_HOME/lib/native/Linux-amd64-64/
    2. 修改HBase配置文件hbase-env.sh
            export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
            export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

4. 重启Hadoop，HBase，snappy压缩功能即可使用

安装过程中遇到的问题： [exec] /usr/bin/ld: cannot find -ljvm
解决办法：出现这样的问题是因为没有把安装的jvm的libjvm.so 链接到/usr/local/lib。因为是64位系统，这里做了如下修改：
ln -s /usr/java/jdk1.6.0_45/jre/lib/amd64/server/libjvm.so /usr/local/lib/
问题解决。