个人学习笔记

jsp  

<%！ 全局变量   %>

Hadoop

vim core-site.xml
hdfs
群启动
mycluster.sh start

hdfs 文件系统存储位置

if $(hadoop dfs -test -d /test); then $(hadoop dfs -touch /usr/local/hadoop/test/test1.txt); else $(hadoop dfs -mkdir -p /usr/local/hadoop/test && hadoop dfs -touch /usr/local/hadoop/test/test1.txt); fi

if $(hadoop fs -test -e test/local.txt); then $(hadoop fs -copyToLocal /opt/module/hadoop-3.1.3/test/test.txt);else $(hadoop fs -copyToLocal /opt/module/hadoop-3.1.3/test/local01.txt); fi

if $(hadoop dfs -test -d /test); then $(hadoop dfs -touch /usr/local/hadoop/test/test1.txt); else $(hadoop dfs -mkdir -p /usr/local/hadoop/test && hadoop dfs -touch /usr/local/hadoop/test/test1.txt); fi

myjps.sh

单点启动
yarn --daemon start nodemanager

102
hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start nodemanager

103

hdfs --daemon start datanode
yarn --daemon start resourcemanager
yarn --daemon start nodemanager

104
hdfs --daemon start datanode
hdfs --daemon start secondarynamenode
yarn --daemon start nodemanager

群起/群停 配置ssh 免密登录 配置workers文件

在102启动datenaode start-dfs.sh
103启动yarn start-yarn.sh

集群管理脚本

集群启动停止脚本

查看各个集群机器进程脚本

同步命令 xsync

查看日志文件
hadoop目录下
/hadoop-3.1.3/logs

cat 命令查看

ssh hadoop10*

tail -n 100/200

ssh 免密登录
ssh-keygen -t rsa 公私钥生成
地址 用户家目录
ll -a
.ssh

ssh-copy-id hadoop102
分配公匙

netsh interface ip set address "以太网" static 10.91.1.1 255.255.255.0 10.91.1.254

netsh interface ip set dns "以太网" static 202.206.32.1

操作hadoop

ssh localhsot 连接
进入 /usr/local/hadoop
输入 /sbin/start-dfs.sh
成功启动

03 192.168.202.101

192.168.79.100 hadoop100
192.168.79.101 hadoop101
192.168.79.102 hadoop102
192.168.79.103 hadoop103
192.168.79.104 hadoop104
192.168.79.105 hadoop105
192.168.79.106 hadoop106

用户
atguigu
cuixingyu

/opt/software 待安装的软件
/opt/module 安装的文件

hadoop 目录熟知

bin： hadoop 命令
sbin：hadoop 脚本
etc ： hadoop 配置文件
share：hadoop jar包

常用 工具目录 hadoop hdfs mapred yarn

sbin hadoop 有关脚本：
start-dfs.sh 启动 dfs stop-dfs.sh 关闭
start-yarn.sh 启动 yarn stop-dfs.sh 关闭
start-all.sh stop-all.sh 启动

hadoop-3.1.3/ect/hadoop 配置文件 :
掌握修改的文件
hdfs-site.xml
mapred-site.xml
yarn-site.xml
不全

share 目录 jar包

安全拷贝
scp -r 要拷贝文件 拷贝的地方

rsync -av 要同步文件 同步的地方