在介绍tcp发送函数之前得先介绍很关键的一个结构sk_buff,在linux中,sk_buff结构代表了一个报文:
然后见发送函数源码,这里不关注硬件支持的分散-聚集:
/* sendmsg系统调用在TCP层的实现 */ int tcp_sendmsg(struct kiocb *iocb, struct sock *sk, struct msghdr *msg, size_t size) { struct iovec *iov; struct tcp_sock *tp = tcp_sk(sk); struct sk_buff *skb;/*一个报文*/ int iovlen, flags; int mss_now; int err, copied; long timeo; /* 获取套接口的锁 */ lock_sock(sk); TCP_CHECK_TIMER(sk); /* 根据标志计算阻塞超时时间 */ flags = msg->msg_flags; timeo = sock_sndtimeo(sk, flags & MSG_DONTWAIT); /* Wait for a connection to finish. */ if ((1 << sk->sk_state) & ~(TCPF_ESTABLISHED | TCPF_CLOSE_WAIT))/* 只有这两种状态才能发送消息 */ if ((err = sk_stream_wait_connect(sk, &timeo)) != 0)/* 其它状态下等待连接正确建立,超时则进行错误处理 */ goto out_err; /* This should be in poll */ clear_bit(SOCK_ASYNC_NOSPACE, &sk->sk_socket->flags); /* 获得有效的MSS,如果支持OOB,则不能支持TSO,MSS则应当是比较小的值 */ mss_now = tcp_current_mss(sk, !(flags&MSG_OOB)); /* Ok commence sending. */ /* 获取待发送缓冲区数组指针及其长度 */ iovlen = msg->msg_iovlen; iov = msg->msg_iov; /* copied表示从用户数据块复制到skb中的字节数。 */ copied = 0; err = -EPIPE; /* 如果套接口存在错误,则不允许发送数据,返回EPIPE错误 */ if (sk->sk_err || (sk->sk_shutdown & SEND_SHUTDOWN)) goto do_error; while (--iovlen >= 0) {/* 处理所有待发送数据块 */ /*要分段缓冲区的指针和长度*/ int seglen = iov->iov_len; unsigned char __user *from = iov->iov_base; iov++; while (seglen > 0) {/* 处理单个数据块中的所有数据 */ int copy; /*取传输队列的上一个sk_buff指针,这下面一小段的目的是检查 传输队列是否有未满段,未满段是当前分段长度小于1mss。只有 当现有分段满负荷时,才能生成新的数据分段*/ skb = sk->sk_write_queue.prev; /*队列是一个双向链表,通过队列头的prev来访问套接字最后一个分段。 首先检查传输队列头是否有数据分段,如果该值是NULL,就没必要 检查未满分段。*/ if (!sk->sk_send_head ||/* 发送队列为空,前面取得的skb无效 */ /* 如果skb有效,但是它已经没有多余的空间复制新数据了 */ (copy = mss_now - skb->len) <= 0) { /*为用户数据创建一个新的分段*/ new_segment: /* 发送队列中数据长度达到发送缓冲区的上限,等待缓冲区 */ if (!sk_stream_memory_free(sk)) goto wait_for_sndbuf; /*如果有足够的内存,就为TCP数据分段分配新缓冲区。如果硬件 支持分散-聚集技术,就分配一个数据页大小的缓冲区。否则就 分配大小为1mss的缓冲区。*/ skb = sk_stream_alloc_pskb(sk, select_size(sk, tp), 0, sk->sk_allocation);/* 分配新的skb */ /* 分配失败,说明系统内存不足,等待内存释放 */ if (!skb) goto wait_for_memory; /* 根据路由网络设备的特性,确定是否由硬件执行校验和 */ if (sk->sk_route_caps & (NETIF_F_IP_CSUM | NETIF_F_NO_CSUM | NETIF_F_HW_CSUM)) skb->ip_summed = CHECKSUM_HW; skb_entail(sk, tp, skb);/* 将SKB新分段添加到发送队列尾部 */ copy = mss_now;/* 本次需要复制的数据量是MSS */ } /* 要复制的数据长度copy不能大于当前段剩余的长度, seglen的减法在下面。*/ if (copy > seglen) copy = seglen; /* skb线性存储区底部还有空间 */ if (skb_tailroom(skb) > 0) { /* 本次只复制skb存储区底部剩余空间大小的数据量 */ if (copy > skb_tailroom(skb)) copy = skb_tailroom(skb); /* 从用户空间复制指定长度的数据到skb中,如果失败,则退出 */ if ((err = skb_add_data(skb, from, copy)) != 0) goto do_fault; } /* 线性存储区底部已经没有空间了,复制到分散/聚集存储区中 */ else { ...//忽略 } if (!copied)/* 如果没有复制数据,则取消PSH标志 */ TCP_SKB_CB(skb)->flags &= ~TCPCB_FLAG_PSH; /* 更新发送队列最后一个包的序号 */ tp->write_seq += copy; /* 更新当前数据分段skb的结尾序号,以使其能够包括当前段所 覆盖的全部序列。*/ TCP_SKB_CB(skb)->end_seq += copy; skb_shinfo(skb)->tso_segs = 0; /* 更新数据复制的指针,使其指向下一个要复制的数据起始位置, 然后更新要复制的字节数。*/ from += copy; copied += copy; /* 如果所有数据已经复制完毕则退出,会调用tcp_push()将传输 队列中的数据分段发送出去。*/ if ((seglen -= copy) == 0 && iovlen == 0) goto out; /* 走到这里说明还没有将全部用户缓冲区复制到套接字缓冲区,就检查 如果当前skb中的数据小于mss,说明可以往里面继续复制数据。 或者发送的是OOB数据,则也跳过发送过程,继续复制数据 */ if (skb->len != mss_now || (flags & MSG_OOB)) continue; /* 走到这里说明当前数据段已满。就调用foced_push()来检查是否为 传输队列中的最后一个分段设置了强制push标志。如果设置了强制push 标志,需要告诉接收端应用程序首先处理该数据。 必须立即发送数据,即上次发送后产生的数据已经超过通告窗口值的一半 */ if (forced_push(tp)) { /* 设置PSH标志后发送数据 */ tcp_mark_push(tp, skb); /*然后根据Nagle算法、拥塞窗口、发送窗口调用此函数来启动 待发送分段的传输。*/ __tcp_push_pending_frames(sk, tp, mss_now, TCP_NAGLE_PUSH); } /* 虽然不是必须发送数据,但是发送队列上只存在当前段,也将其发送出去 */ /*如果不能强制push该数据,并且传输队列中仅有一个数据段,就调用 tcp_push_one()来将该数据段push到传输队列中。*/ else if (skb == sk->sk_send_head) tcp_push_one(sk, mss_now); /*然后在内部循环迭代中对剩余的数据进行分段处理。*/ continue; wait_for_sndbuf: /* 由于发送队列满的原因导致等待 */ set_bit(SOCK_NOSPACE, &sk->sk_socket->flags); wait_for_memory: if (copied)/* 虽然没有内存了,但是本次调用复制了数据到缓冲区,调用tcp_push将其发送出去 */ tcp_push(sk, tp, flags & ~MSG_MORE, mss_now, TCP_NAGLE_PUSH); /* 等待内存可用 */ if ((err = sk_stream_wait_memory(sk, &timeo)) != 0) goto do_error;/* 确实没有内存了,超时后返回失败 */ /* 睡眠后,MSS可能发生了变化,重新计算 */ mss_now = tcp_current_mss(sk, !(flags&MSG_OOB)); } } out: if (copied)/* 从用户态复制了数据,发送它 */ tcp_push(sk, tp, flags, mss_now, tp->nonagle); TCP_CHECK_TIMER(sk); release_sock(sk);/* 释放锁以后返回 */ return copied; do_fault: if (!skb->len) {/* 复制数据失败了,如果skb长度为0,说明是新分配的,释放它 */ if (sk->sk_send_head == skb)/* 如果skb是发送队列头,则清空队列头 */ sk->sk_send_head = NULL; __skb_unlink(skb, skb->list); sk_stream_free_skb(sk, skb);/* 释放skb */ } do_error: if (copied) goto out; out_err: err = sk_stream_error(sk, flags, err); TCP_CHECK_TIMER(sk); release_sock(sk); return err; }
详细的说明见注释。
注意几点主要的流程:
1.TCP以1mss为单元来发送数据,最大段大小基于MTU计算获得,MTU是一个链路层的特征参数,并且可以从tcp_current_mss()获取。
2.sk_stream_alloc_pskb()为TCP数据分配一个新的缓冲区,它的最小长度是1mss。
3.skb_entail()将报文发往传输缓存区排队,并计算已分配的缓冲区内存。
4.tcp_push_one()负责传输写队列中的一个数据段。__tcp_push_pending_frames()负责传输在写队列中排队的多个数据段。