CentOS大数据基本配置
标签(空格分隔): Linux
一)安装软件
#安装vsftpd
yum -y install openssh vsftpd
#启动vsftpd
service vsftpd start
chkconfig vsftpd on
二)设置网络
#修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=shop.madman.com
#修改网卡
vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=none
IPADDR=192.168.18.132
NETMASK=255.255.255.0
GATEWAY=192.168.18.2
DNS1=202.96.209.5
DNS2=8.8.8.8
#自动激活网卡
ONBOOT=Yes
#关闭防火墙
service iptables stop
chkconfig iptables off
#关闭SELINUX
vi /etc/sysconfig/selinux
SELINUX=disabled enforing
#设置hostname
vi /etc/hosts
127.0.0.1 shop.madman.com
::1 shop.madman.com
192.168.18.132 shop.madman.com
三)设置时间同步
#显示时区
date --help #获取帮助
date -R
date +%z
#修改时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#同步时间命令
ntpdate asia.pool.ntp.org
#启动时间服务
service ntpd start
# 自动同步时间crontab -e加入
0-59/10 * * * * /usr/sbin/ntpdate asia.pool.ntp.org
#重启crond服务区
service crond restart
三) 拷贝jdk和hadoop
# 建立目录
mkdir /opt/modules
#设置目录权限
chown -R hadoop:hadoop /opt/modules
cp jdk-7u67-linux-x64.tar.gz /opt/modules
cp cp hadoop-2.5.0.tar.gz /opt/modules/
cd /opt/modules
tar zxvf jdk-7u67-linux-x64.tar.gz
tar zxvf hadoop-2.5.0.tar.gz
#设置JDK环境
vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export CLASSPATH="$CLASSPATH:$JAVA_HOME/lib"
export PATH="$PATH:$JAVA_HOME/bin:$M2_HOME/bin"
#测试JDK是否安装成功
java -version
设置JDK和maven环境
vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export CLASSPATH="$CLASSPATH:$JAVA_HOME/lib"
export M2_HOME=/opt/modules/apache-maven-3.3.9
export PATH="$PATH:$JAVA_HOME/bin:$M2_HOME/bin"
设置maven目录
###四)Java运行环境
```shell
#修改hadoop-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67
#修改yarn-env.sh:
export JAVA_HOME=/opt/modules/jdk1.7.0_67
#修改mapred-env.sh
JAVA_HOME=/opt/modules/jdk1.7.0_67
五)修改IP地址服务
#!/bin/bash
if [ $# != 2 ]
then
echo "please input ip address && host name"
exit 0
fi
newaddress=`grep '1"$' /etc/udev/rules.d/70-persistent-net.rules | awk '{ print $4 }'|awk -F '"' '{ print $2 }'`
sed -i '7,8d' /etc/udev/rules.d/70-persistent-net.rules
echo -e "DEVICE=eth1
BOOTPROTO=static
HWADDR=$newaddress
IPV6INIT=no
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.$3.$1
NETMASK=255.255.255.0
GATEWAY=192.168.$3.2
USERCTL=yes
DNS1=192.168.$3.2
DNS1=202.96.209.5" > /etc/sysconfig/network-scripts/ifcfg-eth1
rm -f /etc/sysconfig/network-scripts/ifcfg-eth0
echo -e "127.0.0.1 $2
::1 $2
192.168.253.$1 $2" > hosts
mv /home/sjf/hosts /etc/hosts
echo -e "127.0.0.1 $2
::1 $2
192.168.253.$1 $2" > hosts
mv /home/sjf/hosts /etc/hosts
echo "change mac address finished"
DEVICE 接口名(设备,网卡)
USERCTL [yes|no](非root用户是否可以控制该设备)
BOOTPROTO IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
HWADDR MAC地址
ONBOOT 系统启动的时候网络接口是否有效(yes/no)
TYPE 网络类型(通常是Ethemet)
NETMASK 网络掩码
IPADDR IP地址
IPV6INIT IPV6是否有效(yes/no)
GATEWAY 默认网关IP地址
BROADCAST 广播地址
NETWORK 网络地址
=可参照下面的例子==
DEVICE=eth0
BOOTPROTO=static
BROADCAST=192.168.1.255
HWADDR=00:0C:2x:6x:0x:xx
IPADDR=192.168.1.23
NETMASK=255.255.255.0
NETWORK=192.168.1.0
ONBOOT=yes
TYPE=Ethernet
六)屏蔽ipv6
Centos 6 关闭ipv6 在 /etc/modprobe.d/dist.conf增加如下内容
alias net-pf-10 off
alias ipv6 off
此步可以禁止ipv6,但重启网络会提示报错FATAL: Module off not found.
解决方法如下:
- 将/etc/modprobe.d/dist.conf 文件中 alias ipv6 off 替换成 options ipv6 disable=1
- /etc/sysconfig/network 新增如下一行
NETWORKING_IPV6=off - 关闭iptables的ipv6
chkconfig ip6tables off
七)配置SSH密码登录
#修改hosts文件
vi /etc/hosts
192.168.47.181 s1.hd.com
192.168.47.182 s1.hd.com
192.168.47.183 s1.hd.com
#安装软件
yum install openssh-server
#生成秘钥,注意全部回车
ssh-keygen -t rsa
#同步拷贝
ssh-copy-id hadoop@s1.hd.com
ssh-copy-id hadoop@s2.hd.com
ssh-copy-id hadoop@s3.hd.com
八)安装sublime_text
wget http://c758482.r82.cf2.rackcdn.com/sublime_text_3_build_3083_x64.tar.bz2