大数据基础1

1、Linux下命令行中的复制和粘贴

安装gpm：yum install -y gpm*

开启gpm服务：systemctl start gpm

2、打开网卡

vi /etc/sysconfig/network-scripts/ifcfg-ens33

3、修改为静态IP

BOOTPROTO=”dhcp” 这个是动态IP
BOOTPROTO=”static”这个是静态IP
BOOTPROTO=”none”这个是无

4、IP地址

IPADDR=192.168.116.121

5、网关

GATEWAY=192.168.116.2

6、子网掩码

NETMASK=255.255.255.0

7、DNS服务器1、2

DNS1=8.8.8.8
DNS2=8.8.4.4

8、vi /etc/resolve.conf

nameserver 8.8.8.8
nameserver 8.8.4.4

9、重启网卡

service network restart

10、 如何测试可以ping通

ping 192.168.116.2
ping www.baidu.com

11、解压JDK命令

tar -zxvf jdk-8u192-linux-x64.tar.gz -C /opt/module/

12、系统JDK环境变量的位置

vi /etc/profile

13、写入

export JAVA_HOME=/opt/module/jdk1.8.0_192
export PATH=$JAVA_HOME/bin:$PATH

14、环境变量生效

source /etc/profile

15、检验JDK是否生效

输入javac，回车

16、解压Hadoop

使用windscp上传
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/

17、解压Hadoop

使用windscp上传
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/

18、创建日志logs和临时目录tmp

mkdir logs tmp

[root@localhost hadoop-2.7.3]#cd etc/hadoop/

19、vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_192

20、vi core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hsiehchou121:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.3/tmp</value>
</property>

21、vi hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

22、修改主机名

hostnamectl set-hostname 主机名
如：hostnamectl set-hostname hsiehchou121

23、检查主机名

hostname

24、格式化 hdfs

[root@localhost hadoop-2.7.3]#bin/hdfs namenode -format

25、启动 hdfs

[root@localhost hadoop-2.7.3]#sbin/start-dfs.sh

26、关闭 hdfs

[root@localhost hadoop-2.7.3]#sbin/stop-dfs.sh

27、查看进程

jps

[root@localhost hadoop-2.7.3]# jps
39668 DataNode
39547 NameNode
39932 Jps
39823 SecondaryNameNode

28、页面

IP地址:50070
如:192.168.116.121:50070
显示页面就对了

29、临时关闭防火墙

systemctl stop firewalld.service

30、永久禁用防火墙

systemctl disable firewalld.service

31、查看防火墙状态

systemctl status firewalld.service

32、SSH无密码登录

[root@localhost hadoop-2.7.3]$ ssh-keygen -t rsa
然后敲（三个回车）

[root@localhost hadoop-2.7.3]# ssh-copy-id hsiehchou121
[root@localhost hadoop-2.7.3]# ssh hsiehchou121
[root@hsiehchou121 ~]# 
[root@hsiehchou121 ~]# exit
logout

33、关闭selinux防火墙

vi /etc/selinux/config

SELINUX=enforcing 改成
SELINUX=disabled