Python爬虫
最近断断续续的写了几篇
Python
的学习心得,由于有开发经验的同学来说上手还是比较容易,而且Python
提供了强大的第三方库,做一个小的示例程序还是比较简单,这不我之前就是针对Python
的爬虫做了好几个程序,爬取了几个图片网站的图片,并保存到本地。
Python web服务
写了几个
Python
爬虫后,想试试Python web
服务怎么写。随手百度了下,写了如下代码
import socket
HOST,PORT = 'localhost',8080
listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
listen_socket.bind((HOST, PORT))
listen_socket.listen(1)
print('Serving HTTP on port %s ...' % PORT)
while True:
client_connection, client_address = listen_socket.accept()
request = client_connection.recv(1024)
print(request)
http_response = b"""
HTTP/1.1 200 OK
Hello,world!
"""
client_connection.send(http_response)
client_connection.close()
- 启动命令行,切换到该文件所在路径,输入:
python xx.py
启动web服务,如下图所示
- 打开浏览器,输入
localhost:8080
,然后回车,可以看到页面显示
上述代码比较测试过程比较简单,主要是为了演示怎么写一个
Python web
服务,这个演示流程存在一个比较大的问题,就是每当服务需要重启的时候我们需要关闭命令行工具,然后重新启动,这个过程太繁琐了,怎么可以让它程序化呢!解决办法也是有的,那就是Docker
,因此我决定学习一下开源的应用程序引擎Docker
Docker是什么
Docker是什么
- go语言实现
- Build、Ship and Run App,AnyWhere
- 一次封装、到处运行
如上图,Docker设想是交付运行环境如同海运,OS如同一个货轮,每一个在OS基础上的软件都如同一个集装箱,用户可以通过标准化手段自由组装运行环境,同时集装箱的内容可以由用户自定义,也可以由专业人员制造。这样,交付一个软件,就是一系列标准化组件的集合的交付,如同乐高积木,用户只需要选择合适的积木组合,并且在最顶端署上自己的名字(最后一个标准化组件是用户的app)。
了解Docker,首先需要知道LXC是什么。LXC是指Linux内核(尤指命名空间和CGroup)的一个特性,它允许其他一些沙盒进程运行在一块相对独立的空间,并能方便的控制他们的资源调度。
-
Docker 底层是基于LXC实现的,它提供了一系列更强的功能。Docker定义了一种新的格式,将应用和其依赖环境全部打包到一个单一对象中,这个对象可以在任何安装有Docker的机器上共享,并且执行这个对象的效果都是一样的
-
可移植的跨机器部署:LXC实现了进程级的沙盒封装,而Docker为移植部署定义了规范,使用了抽象层的概念,把机器配置打包进了容器,这样使得进程和环境一起进行了分发
Docker三个基本概念:Image(镜像)、Container(容器)和Repository(仓库)
Image(镜像)
Docker 镜像可以看作是一个特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数(如匿名卷、环境变量、用户等)。
镜像不包含任何动态数据,其内容在构建之后也不会被改变。
Container(容器)
容器(Container)的定义和镜像(Image)几乎一模一样,也是一堆层的统一视角,唯一区别在于容器的最上面那一层是可读可写的。
容器 = 镜像 + 读写层。
Repository(仓库)
Docker 仓库是集中存放镜像文件的场所。
仓库(Repository)和仓库注册服务器(Registry),一个 Docker Registry 中可以包含多个仓库(Repository),每个仓库可以包含多个标签(Tag),每个标签对应着一个镜像。
下图可以直观的看到Docker的结构。Docker 使用 C/S 结构,即客户端/服务器体系结构。Docker 客户端与 Docker 服务器进行交互,Docker服务端负责构建、运行和分发 Docker 镜像。
Docker 客户端和服务端可以运行在一台机器上,也可以通过 RESTful 、 Stock 或网络接口与远程 Docker 服务端进行通信。
Docker vs VM
虚拟化
虚拟化是云计算的基础。简单的说,虚拟化使得在一台物理的服务器上可以跑多台虚拟机,虚拟机共享物理机的 CPU、内存、IO 硬件资源,但逻辑上虚拟机之间是相互隔离的。
物理机我们一般称为宿主机(Host),宿主机上面的虚拟机称为客户机(Guest)。
宿主机(Host)给客户端(Guest)提供硬件资源虚拟机是通过
Hypervisor
实现的,根据根据Hypervisor
的实现方式和所处的位置不同,虚拟化又分为两种
- Hypervisor 直接安装在物理机上,多个虚拟机在 Hypervisor 上运行。
- 物理机上首先安装常规的操作系统,比如 Redhat、Ubuntu或 Windows。Hypervisor 作为 OS 上的一个程序模块运行,并对管理虚拟机进行管理。KVM、VirtualBox 和 VMWare Workstation 都属于这个类型。
下边我们用使用比较多的有宿主机用Hypervisor实现方式的虚拟机VMWare Station
和容器进行比较,方便我们理解
使用场景
- Automating the packaging and deployment of applications(使应用的打包与部署自动化)
- Creation of lightweight, private PAAS environments(创建轻量、私密的PAAS环境)
- Automated testing and continuous integration/deployment(实现自动化测试和持续的集成/部署)
- Deploying and scaling web apps, databases and backend services(部署与扩展webapp、数据库和后台服务)
Docker环境
Docker
是基于Linux 64bit的,无法在32bit的linux/windows/unix环境下使用,而且Docker
是基于LXC实现的,因此容器的宿主机必须是Linux系统。
windows系统安装docker
Win 10以前的系统没有Hyper-v技术,因此如果想使用Docker
就需要安装Docker Toolbox工具,Win 10系统可以直接安装Docker for Windows这个包,然后使用。
Windows系统上直接使用
Docker
,发现问题还是挺多,因此想到了另外一种方式,现在windows系统上安装Linux 64bit系统,然后在安装Docker
- 首先是安装VMware Workstation
- 下载Linux系统,并创建新的虚拟机系统
- 下边的操作和直接在Linux系统上安装一样
Linux系统安装docker
Docker常用命令
启动Docker后台服务
sudo service docker start
容器命令
- docker ps :查看当前运行容器
- docker ps -l :查看最后一次创建的容器
- docker logs 容器id(名称):查看镜像内日志
- docker stop 容器id(名称):停止容器
- docker start 名称:启动容器
- docker rm 容器id(名称) #删除容器时,容器必须是停止状态
- docker port 容器id(名称) #查看网络端口
- docker run -d -P --name runoob training/webapp python app.py --name 容器名称 :运行容器示例
-t:在新容器内指定一个伪终端或终端。
-i:允许你对容器内的标准输入 (STDIN) 进行交互。
镜像命令
- docker images :查看镜像列表
- docker pull python:3.6:拉取镜像
- docker search 名称:查找镜像 默认在Docker Hub中查找
构建镜像
cat Dockerfile
FROM centos:6.7
MAINTAINER Fisher "fisher@sudops.com"
RUN /bin/echo 'root:123456' |chpasswd
RUN useradd runoob
RUN /bin/echo 'runoob:123456' |chpasswd
RUN /bin/echo -e "LANG="en_US.UTF-8"" >/etc/default/local
EXPOSE 22
EXPOSE 80
CMD /usr/sbin/sshd -D
- 每一个指令都会在镜像上创建一个新的层,每一个指令的前缀都必须是大写的。
- 第一条FROM,指定使用哪个镜像源
- RUN 指令告诉docker 在镜像内执行命令,安装了什么。。
- 然后,我们使用 Dockerfile 文件,通过 docker build 命令来构建一个镜像。
docker build -t runoob/centos:6.7 .
参考资料
转载声明:本站文章无特别说明,皆为原创,版权所有,转载请注明:朝十晚八 or Twowords