Hadoop 错误归档库

在hive中操作任意mapreduce相关语句

The size of Container logs revealed the below error:

2015-04-24 11:41:41,858 WARN [main] org.apache.hadoop.mapred.MapTask: Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer
java.io.IOException: Invalid "mapreduce.task.io.sort.mb": 2048
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:975)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:401)

Solution:

Set the value of mapreduce.task.io.sort.mb < 2048MB 

Reason
“无法初始化任何输出收集器”表示工作未能启动容器,可以有多个相同的原因。然而,一个必须检查容器日志在hdfs识别导致错误。在这个特定的实例,mapreduce.task.io.sort.mb内存值输入大于2047 mb,但是它允许的最大值是2047 mb,因此任何高于其导致工作失败标记为无效。

解决方案: 
设置mapreduce.task.io.sort.mb < 2048 mb 
mapred-site.xml

        <property>
                <name>mapreduce.task.io.sort.mb</name>
                <value>1024</value>
        </property>

Linux内核事故，一直输出syslog日志

Message from syslogd@ at Thu Mar 17 22:58:28 2011 ...
localhost last message repeated 2 times

Message from syslogd@ at Thu Mar 17 22:58:28 2011 ...
localhost kernel: EDAC MC0: UE page 0x0, offset 0x0, grain 1073741824, row 2, labels ":": i3200 UE

无论是ssh上,还是本机的终端窗口统统都报警,而没有办法打字。

Solution:

[root@localhost ~]#  /etc/init.d/syslog stop    //先停止syslog：
[root@localhost init.d]# lsmod | grep edac
i3200_edac              9545  0 
edac_mc                26513  1 i3200_edac
[root@localhost init.d]# rmmod i3200_edac
[root@localhost init.d]# rmmod edac_mc
[root@localhost ~]#  /etc/init.d/syslog stop    //再开启syslog：
卸载 i3200_edac  edac_mc 两个模块

yum进程被占用

在install.sh过程中
Another app is currently holding the yum lock; waiting for it to exit...
The other application is: yum
Memory : 55 M RSS (352 MB VSZ)
Started: Thu Apr 9 18:45:48 2015 - 06:13 ago
State : Sleeping, pid: 31018

Solution: 
检查每个节点,运行：yum list & yum clean all
若出现问题，则表示yum进程被占用
rm -rf /var/run/yum.pid 或者直接pkill yum  

postgresql-libs.rpm from updates: [Errno 256] No more mirrors to try.

在安装ambari的过程中，出现以下错误
error :
### Step 4:Begin configure Web-server ............
-------------------------------------------------
Loaded plugins: fastestmirror, security
Loading mirror speeds from cached hostfile
Setting up Install Process
Resolving Dependencies
--> Running transaction check
---> Package ambari-server.noarch 0:1.4.4.23-1 will be installed
--> Processing Dependency: postgresql-server >= 8.1 for package: ambari-server-1.4.4.23-1.noarch
--> Running transaction check
---> Package postgresql-server.x86_64 0:8.4.20-2.el6_6 will be installed
--> Processing Dependency: postgresql-libs(x86-64) = 8.4.20-2.el6_6 for package: postgresql-server-8.4.20-2.el6_6.x86_64
--> Processing Dependency: postgresql(x86-64) = 8.4.20-2.el6_6 for package: postgresql-server-8.4.20-2.el6_6.x86_64
--> Processing Dependency: libpq.so.5()(64bit) for package: postgresql-server-8.4.20-2.el6_6.x86_64
--> Running transaction check
---> Package postgresql.x86_64 0:8.4.20-2.el6_6 will be installed
---> Package postgresql-libs.x86_64 0:8.4.20-2.el6_6 will be installed

Error Downloading Packages:
postgresql-8.4.20-2.el6_6.x86_64: failure: Packages/postgresql-8.4.20-2.el6_6.x86_64.rpm from updates: [Errno 256] No more mirrors to try.
postgresql-server-8.4.20-2.el6_6.x86_64: failure: Packages/postgresql-server-8.4.20-2.el6_6.x86_64.rpm from updates: [Errno 256] No more mirrors to try.
postgresql-libs-8.4.20-2.el6_6.x86_64: failure: Packages/postgresql-libs-8.4.20-2.el6_6.x86_64.rpm from updates: [Errno 256] No more mirrors to try.

cp: cannot create regular file `/var/lib/ambari-server/resources/': No such file or directory
cp: cannot create regular file `/var/lib/ambari-server/resources/': No such file or directory
./install.sh.x: line 232: ambari-server: command not found

Reason：
没有安装jdk的缘故，虽然之后再ambari配置的过程中，会重新再安装jdk，所以安装什么版本都没关系

Solution：
检查jdk：java -version查看已经在使用的jdk版本，如果没有，yum安装方式： yum install java ,如果不行则离线安装jdk。 系统自带jdk默认目录在/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64,验证方法为在/usr/lib/jvm/下运行 ls -l /usr/lib/jvm/

hive 元数据库安装出错

hive mysql的设置
update user set password =password('hive') where user ='hive';
select host,user from user;
insert into user(host,user,password)values('%','hive','hive');
grant all privileges on *.* to hive'%' identified by 'hive';
flush privileges

在用ambari安装HDP的过程中，装hive的节点不能事先安装mysql，有些配置可能不是默认的，导致元数据库配置不成功 。当然。源码安装恰好相反

当ambari意外宕机时，再重启出现以下错误
error:
cannot open Packages database in /var/lib/rpm E: could not open RPM database
solution：
rm -rf /var/lib/rpm/__db*

当ambari配置hdp时安装不成功，在命令行下运行：
ambari-server reset ambari-server restart
重启机器重新在浏览器配置HDP， 并注意保证时间同步

error：

Another MySQL daemon already running with the same unix socket.

solution：
yum remove mysql mysql-server mysql-libs mysql-devel
service mysql stop
mv /var/lib/mysql/mysql.sock /var/lib/mysql/mysql.sock.bak

HbaseRegionServer自动停止：

Solution：
hbase regionserver process connection refused 把该机器127.0.0.1去掉

或者

时间同步问题！

Spark 磁盘占满

问题1

由于Spark在计算的时候会将中间结果存储到/tmp目录，而目前linux又都支持tmpfs，其实说白了就是将/tmp目录挂载到内存当中。

那么这里就存在一个问题，中间结果过多导致/tmp目录写满而出现如下错误

No Space Left on the device

解决办法就是针对tmp目录不启用tmpfs,修改/etc/fstab

• spark.local.dir：Spark 运行时的临时目录，例如 map 的输出文件，保存在磁盘的 RDD 等都保存在这里。默认是 /tmp 这个目录，而一开始我们搭建的小集群上 /tmp 这个目录的空间只有2G，大数据量跑起来就出 Exception （”No space left on device”）了。

如果是archlinux，仅修改/etc/fstab是不够的，还需要执行如下指令：

systemctl mask tmp.mount

默认安装的CentOS，已经开启了tmpfs。tmpfs会使用内存，如果内存用完，会用swap空间。调整tmpfs大小，别超过内存+swap的大小。如果系统资源紧张，用完了内存，用到swap时，tmpfs的效率就大幅度降低了。所以不妨多安装些内存，反正内存价格也没多贵。tmpfs是内存文件系统，类似于DOS年代的ramdisk，mount上去就能用了，不需要用mkfs之类的命令来初始化。

# cat /etc/fstab

LABEL=/                 /                        ext3    defaults        1 1
LABEL=/home         /home                ext3    defaults        1 2
LABEL=/boot1        /boot                  ext3    defaults        1 2
tmpfs                    /dev/shm             tmpfs   defaults        0 0
devpts                   /dev/pts              devpts  gid=5,mode=620  0 0
sysfs                      /sys                    sysfs   defaults        0 0
proc                      /proc                  proc    defaults        0 0
LABEL=SWAP-sda3  swap                  swap    defaults        0 0

 

其中tmpfs那一行，就是开启tmpfs。在tmpfs里存放的文件，读写非常快，毕竟直接读取内存，当然比读取磁盘快多了。tmpfs里的文件，重启后就没了。适合存放session，或其他临时性的文件。可以大幅度提供读写速度。