Andrew's Blog / 《Network Programming with Go》学习笔记

第一章： Architecture(体系结构)

Protocol Layers（协议层）

ISO OSI Protocol

每层的功能：

• 网络层提供交换及路由技术
• 传输层提供了终端系统之间的数据透明传输，并且负责端到端的错误恢复及流程控制
• 会话层用来建立、管理、以及终止应用程序之间的连接
• 表现层提供数据表现差异的独立性（例如加密）
• 应用层支持应用程序和用户程序

TCP/IP Protocol

Gateways（网关）

网关是一个统称，它用于连接起一个或多个网络。

• 其中的中继器在物理层面上进行操作，它将信息从一个子网复制到另一个子网上。
• 桥接在数据连接层面上进行操作，它在网络之间复制帧。
• 路由器在网络层面上进行操作，它不仅在网络之间复制信息，还决定了信息的传输路线。

Packet encapsulation（数据包封装）

• 在OIS或TCP/IP协议栈层与层之间的通信，是通过将数据包从一个层发送到下一个层，最终穿过整个网络的。
• 每一层都有必须保持其自身层的管理信息。
• 从上层接收到的数据包在向下传递时，会添加头信息。
• 在接收端，这些头信息会在向上传递时移除。

TFTP（普通文件传输协议）将文件从一台计算机移动到另一台上。它使用IP协议上的UDP协议，该协议可通过以太网发送。看起来就像这样：

Connection Models(连接模型)

• Connection oriented 面向连接模型
• Connectionless 无连接模型
• 面向连接模型即为会话建立单个连接，沿着连接进行双向通信，例如 TCP
• 在无连接系统中，消息的发送彼此独立。这类似于普通的邮件。无连接模型的消息可能不按顺序抵达。例子就是IP协议
• 面向连接的传输可通过无连接模型——基于IP的TCP协议建立。
• 无连接传输可通过面向连接模型——基于IP的HTTP协议建立。

Communications Models(通信模型)

Communications Models(消息传递)

• 并发语言大多使用消息传递的机制，比如 Unix的管道
• Parlog 能在并发的进程之间，将任意的逻辑数据结构当做消息来发送
• 消息传递是分布式系统最基本的机制

Distributed Computing Models(分布式计算模型)

考虑分布式系统的组件是否等价,三种模型：

• 点对点（peer-to-peer）: 若两个组件等价，且均可发起并响应信息
• 过滤器（filter）:有一个组件将信息传至另一个组件，它在修改该信息后会传至第三个组件。 例如：中间组件通过SQL从数据库中获取信息，并将其转换为HTML表单提供给第三个组件（它可能是个浏览器）。
• 客户端-服务器(客户端-服务器): 最常见的就是不对等的情况：客户端向服务器发送请求，然后服务端响应

Client/Server System

Client/Server Application

Server Distribution（服务器分布）

单一客户端，单个服务器：

多个客户端，单一服务器：

主站只需接收请求并处理一次，而无需将它们传递给其它服务器来处理。当客户端可能并发时，这就是个通用的模型

单一客户端，多个服务器，例如当业务逻辑服务器从数据库服务器获取信息时

Component Distribution

分解一些应用的一个简单有效的方式就是把它们看做三部分：

Presentation component 表现组件 Application logic 应用逻辑 Data access 数据访问

表现组件负责与用户进行交互，即显示数据和采集输入，可以是 GUI 界面，也可以是命令行界面 应用逻辑组件负责解释用户的响应，根据应用业务规则，准备查询并管理来自其组件的响应 数据访问组件负责存储并检索数据。这一般是通过数据库进行，不过也不一定

Example: Distributed Database： Gartner第一种分类

例如 google map 会下载附近的地图为浏览器中的小型数据库，当用户移动了地图时，可以快速响应

Example: Network File Service 网络文件服务

Gartner第二种分类允许远程客户端访问已共享的文件系统 这类系统的例子：NFS、Microsoft共享和DCE等等。

Example: Web:

Gartner第三种分类的一个例子就是Web上的小型Java应用

Example: Terminal Emulation

Gartner第四种分类就是终端仿真。这允许远程系统在本地系统上作为普通的终端： Telnet就是最常见的例子。

Three Tier Models: 可以有三层、四层甚至多层。下图展示了一些可能的三层模型:

Middleware model 中间件模型

中间件示例

• 像终端模拟器、文件传输或电子邮件这样的基础服务
• 像RPC这样的基础服务
• 像DCE、网络O/S这样的一体化服务
• 像CORBA、OLE/ActiveX这样的分布式对象服务
• 像RMI、Jini这样的移动对象服务
• 万维网

中间件的功能包括：

• 在不同计算机上初始化过程
• 进行会话管理
• 允许客户端定位服务器的目录服务
• 进行远程数据访问
• 允许服务器处理多个客户端的并发控制
• 保证安全性和完整性
• 监控
• 终止本地处理和远程处理

Continuum of Processing

Gartner模型基于将一个应用分解为表现组件、应用逻辑和数据处理。一个更细粒度的分解方式为:

Points of Failure

分布式应用一般运行在复杂的环境中。这使得它比单一计算机上的独立应用更易发生故障。故障点包括：

• The client side of the application could crash
• The client system may have h/w problems
• The client’s network card could fail
• Network contention could cause timeouts
• There may be network address conflicts
• Network elements such as routers could fail
• Transmission errors may lose messages
• The client and server versions may be incompatable
• The server’s network card could fail
• The server system may have h/w problems
• The server s/w may crash
• The server’s database may become corrupted

Acceptance Factors

• Reliability
• Performance
• Responsiveness
• Scalability
• Capacity
• Security

Transparency

分布式系统的“圣杯”就是提供以下几点：

• access transparency
• location transparency
• migration transparency
• replication transparency
• concurrency transparency
• scalability transparency
• performance transparency
• failure transparency

Eight fallacies of distributed computing:分布式计算的八个误区

• The network is reliable.
• Latency is zero.
• Bandwidth is infinite.
• The network is secure.
• Topology doesn’t change.
• There is one administrator.
• Transport cost is zero.
• The network is homogeneous.

第3章： Socket-level Programming(套接字层编程)

The TCP/IP stack

The TCP/IP stack is shorter than the OSI one:

• TCP is a connection-oriented protocol,
• UDP (User Datagram Protocol) is a connectionless protocol.

IP datagrams

• IP 是无连接协议
• IP datagrams 之间的关联必须由高层协议来提供支持
• IP层包头支持数据校验，在包头包括源地址和目的地址
• IP层包头支持数据校验，在包头包括源地址和目的地址

UDP&TCP

• UDP是无连接的，不可靠的。它包括IP数据报的内容和端口号的校验
• TCP是构建于IP之上的面向链接的协议。它提供了一个虚电路使得两个应用进程可以通过它来通信。它通过端口号来识别主机上的服务

Internet addresses

• IPV4 由四位数字组成，各自的范围在 0~255,每一组数字可以用 8 位二进制数字来表示，合计共需 32 位二进制
• IPv6使用128位地址，即使表达同样的地址，字节数变得很麻烦，由’:’分隔的4位16进制组成。一个典型的例子如：2002:c0e8:82e7:0:0:0:c0e8:82e7。

IP address type

type IPAddr {
    IP IP
}

IPAddr 最主要的用法是 DNS 查询

func ResolveIPAddr(net, addr string) (*IPAddr, os.Error)

  addr, err := net.ResolveIPAddr("ip","www.google.com")
  if err != nil {
    fmt.Println("Resolution error", err.Error())
    os.Exit(1)
  }
  fmt.Println("Resolved address is ", addr.String())
  // 输出
  // Resolved address is  243.185.187.39

Host lookup

ResolveIPAddr 执行一个 DNS 查找，返回单个的 IP 地址

LookupHost 执行 DNS 查找，返回字符串切片，ipv4 和 ipv6 的 ip 地址

LookupCNAME返回公认的主机名称

3.4 Services

端口号：This is an unsigned integer between 1 and 65,535

“standard” ports：

• Telnet usually uses port 23 with the TCP protocol.
• DNS uses 大专栏  Andrew's Blog / 《Network Programming with Go》学习笔记port 53, either with TCP or with UDP.
• FTP uses ports 21 and 20
• HTTP usually uses port 80, but it often uses ports 8000, 8080 and 8088, all with TCP
• The X Window System often takes ports 6000-6007, both on TCP and UDP.

unix 系统中常用的端口列在 /etc/services

LookupPort 方法查询整个端口

func LookupPort(network, service string) (port int, err os.Error)

The type TCPAddr:

TCPAddr 是一个包含 IP 和 Port 的结构

type TCPAddr struct {
    IP   IP
    Port int
}

ResolveTCPAddr 创建一个 TCPAddr

func ResolveTCPAddr(net, addr string) (*TCPAddr, os.Error)

net 可选： tcp, tcp4 or tcp6 addr: 主机名或 IP 地址，中间是 :,后面跟端口号，本机的话，可以简写 :80

3.5 TCP Sockets

net.TCPConn 支持在客户端和服务端，全双工可读可写的通信

func (c *TCPConn) Write(b []byte) (n int, err os.Error)
func (c *TCPConn) Read(b []byte) (n int, err os.Error)

TCP client：

func DialTCP(net string, laddr, raddr *TCPAddr) (c *TCPConn, err os.Error)

• DialTCP 函数可以建立 TCP 连接
• 客户端和服务器使用 TCPConn 交换信息，请求或者响应，直到关闭连接
• laddr 是本机地址， raddr 是远程服务地址
• net 是可选的 tcp4, tcp6 or tcp

func ListenTCP(net string, laddr *TCPAddr) (l *TCPListener, err os.Error)
func (l *TCPListener) Accept() (c Conn, err os.Error)

ListenTCP 函数，侦听本地的地址在指定端口，Accept 阻塞，然后等待客户端连接

3.6 Controlling TCP connections

func (c *TCPConn) SetTimeout(nsec int64) os.Error

客户端和服务器设置超时用 SetTimeout，函数在 “net” 包

Staying alive:

func (c *TCPConn) SetKeepAlive(keepalive bool) os.Error

SetKeepAlive 可以设置客户端保持连接，函数在 “net” 包

3.7 UDP Datagrams

UDP 的函数：

func ResolveUDPAddr(net, addr string) (*UDPAddr, os.Error)
func DialUDP(net string, laddr, raddr *UDPAddr) (c *UDPConn, err os.Error)
func ListenUDP(net string, laddr *UDPAddr) (c *UDPConn, err os.Error)
func (c *UDPConn) ReadFromUDP(b []byte) (n int, addr *UDPAddr, err os.Error
func (c *UDPConn) WriteToUDP(b []byte, addr *UDPAddr) (n int, err os.Error)

3.8 Server listening on multiple sockets

• go 的底层利用的是系统调用 select(2)
• select(2) 可以检测同时等待的多个 I/O,告诉哪个可以读写

/* c 函数*/
int select(int maxfd, fd_set *readfds, fd_set *writefds, fe_set *exceptfds, const struct timeval *timeout);

• select 的第一个参数是文件描述符集中要被检测的比特数，这个值必须至少比待检测的最大文件描述符大1
• 参数 readfds 指定了被读监控的文件描述符集
• 参数 writefds 指定了被写监控的文件描述符集
• 参数exceptfds指定了被例外条件监控的文件描述符集。
• 参数timeout起了定时器的作用：到了指定的时间，无论是否有设备准备好，都返回调用

3.9 The types Conn, PacketConn and Listener

使用 Dial 可以替代指定类型的 TCP and UDP 的建立连接方法

func Dial(net, laddr, raddr string) (c Conn, err os.Error)

• net 可选：”tcp”, “tcp4” (IPv4-only), “tcp6” (IPv6-only), “udp”, “udp4” (IPv4-only), “udp6” (IPv6-only), “ip”, “ip4” (IPv4-only) and “ip6” IPv6-only)
• 函数返回一个适应的 Conn 接口
• raddr 是字符串

IPGetHeadInfo 源代码例子 chapter03/IPGetHeadInfo.go ThreadedIPEchoServer 源代码例子 chapter03/ThreadedIPEchoServer.go

未完。。。。