本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223
1.安装Linux
(1)新建虚拟电脑
(2)配置虚拟电脑
(3)完成虚拟电脑的配置
(4)添加ubuntu ISO镜像文件进行ubuntu操作系统安装
(5)对ubuntu进行分区
(5)添加用户,至此完成安装,重启登录
2.安装MySql
(1)保证在联网状态下安装
(2)启动与关闭mysql数据库
(3)查看是否启动成功
(4)进入mysql
(5)显示数据库
(6)查看数据库中的表
(7)修改并查看数据库的编码
3.windows 与 虚拟机互传文件
详细教程请查看:https://www.cnblogs.com/dong-blog/p/7207831.html
(1)安装VirtualBox增强功能包
(2)在本机系统设置一个共享文件夹,用于与Ubuntu交互的区域空间。
(3)设置共享配置
(4)共享成功
4.安装Hadoop
还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件:
提取文件:hadoop-2.7.1.tar.gz
链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg
提取码: 2thj
(1)创建hadoop用户,设置用户名和密码,最后添加管理员权限
(2)安装ssh,ssh无密码登录
(3)复制hadoop-2.7.1.tar.gz到/usr/local中,我的hadoop-2.7.1.tar.gz文件源在/mnt/share/hadoop-2.7.1.tar.gz,解压后把名字改成hadoop,并修改文件权限为hadoop
(4)查看hadoop是否可用
(5)安装OpenJDK的java环境,修改~/.bashrc文件:在文件最前面或最后添加如下单独一行(注意,等号“=”前后不能有空格)
(6)使环境变量生效,并查看设置是否正确
(7)运行单机版实例,出现一个dfsadmin信息即单机版成功安装
(8)伪分布式配置:修改配置文件 core-site.xml 和 hdfs-site.xml,并执行 NameNode 的格式化
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
(9)启动NameNode”、”DataNode” 和 “SecondaryNameNode”进程,并查看是否成功启动
(10)伪分布式读取的是 HDFS 上的数据,要使用 HDFS。
首先需要在 HDFS 中创建用户目录;创建目录 input,其对应的绝对路径就是 /user/hadoop/input:;将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。
查看文件列表:
(11)运行伪分布式实例,并将结果复制到本地
附:问题解决
问题:运行实例时,出现虚拟机内存不够分配的情况
解决方法一:在root用户下用echo 65530 /proc/sys/vm/max_map_count分配足够大的内存
解决方法去二:创建swapfile,将swapfile设置为swap空间,启用交换空间