Linux 网卡驱动相关——01

 

参考：1. 深入理解Linux网络技术内幕 PartIII

　　　2. Essential Linux Device Driver Chap15

　　   3. Linux 内核源码剖析——TCP/IP 实现

          5. rtl8139too.c 2010.4 修订

          6. Linux 内核 2.6.33

          7. google

 

当你在写一个网卡驱动的时候回接触到3个重要的数据结构：

1. struct sk_buff    sk_buff 结构贯穿整个协议栈

2. struct net_device 该结构定义了网卡驱动和协议栈之间的接口

3. I/O 总线相关的结构，比如 struct pci_dev

 

　　在内核中sk_buff表示一个网络数据包，它是一个双向链表，而链表头就是sk_buff_head,在老的内核里面sk_buff会有一个list域直接指向sk_buff_head也就是链表头，现在在2.6.33里面这个域已经被删除了。而sk_buff的内存布局可以分作3个段，第一个就是sk_buff自身，第二个是linear-data buff,第三个是paged-data buff（也就是skb_shared_info）。 

　　每个SKB必须能被整个链表头部快速找到。为了满足这个需求，在第一个SKB节点前面会插入另一个辅助的sk_buff_head结构的头结点，可以认为该sk_buff_head结构就是SKB链表的头结点。

struct sk_buff_head {
/* These two members must be first. */
struct sk_buff *next;
struct sk_buff *prev;
 
__u32 qlen;
spinlock_t lock;
};

下图是SKB链表：

下面来看一下sk_buff 结构：

struct sk_buff {
/* These two members must be first. */
struct sk_buff *next;
struct sk_buff *prev;

//表示从属于那个socket，主要是被4层用到。
struct sock *sk;
//表示这个skb被接收的时间。
ktime_t tstamp;
//这个表示一个网络设备，当skb为输出时它表示skb将要输出的设备，当接收时，它表示输入设备。要注意，这个设备有可能会是虚拟设备(在3层以上看来)
struct net_device *dev;
///这里其实应该是dst_entry类型，不知道为什么内核要改为ul。这个域主要用于路由子系统。这个数据结构保存了一些路由相关信息
unsigned long _skb_dst;
#ifdef CONFIG_XFRM
struct sec_path *sp;
#endif
///这个域很重要，我们下面会详细说明。这里只需要知道这个域是保存每层的控制信息的就够了。
char cb[48];
///这个长度表示当前的skb中的数据的长度，这个长度即包括buf中的数据也包括切片的数据，也就是保存在skb_shared_info中的数据。这个值是会随着从一层到另一层而改变的。下面我们会对比这几个长度的。
unsigned int len,
///这个长度只表示切片数据的长度，也就是skb_shared_info中的长度。
data_len;
///这个长度表示mac头的长度(2层的头的长度)
__u16 mac_len,
///这个主要用于clone的时候，它表示clone的skb的头的长度。
hdr_len;

///接下来是校验相关的域。
union {
__wsum csum;
struct {
__u16 csum_start;
__u16 csum_offset;
};
};
///优先级，主要用于QOS。
__u32 priority;
kmemcheck_bitfield_begin(flags1);
///接下来是一些标志位。
//首先是是否可以本地切片的标志。
__u8 local_df:1,
///为1说明头可能被clone。
cloned:1,
///这个表示校验相关的一个标记,表示硬件驱动是否为我们已经进行了校验(前面的blog有介绍)
ip_summed:2,
///这个域如果为1,则说明这个skb的头域指针已经分配完毕，因此这个时候计算头的长度只需要head和data的差就可以了。
nohdr:1,
///这个域不太理解什么意思。
nfctinfo:3;

///pkt_type主要是表示数据包的类型，比如多播，单播，回环等等。
__u8 pkt_type:3,
///这个域是一个clone标记。主要是在fast clone中被设置，我们后面讲到fast clone时会详细介绍这个域。
fclone:2,
///ipvs拥有的域。
ipvs_property:1,
///这个域应该是udp使用的一个域。表示只是查看数据。
peeked:1,
///netfilter使用的域。是一个trace 标记
nf_trace:1;
///这个表示L3层的协议。比如IP,IPV6等等。
__be16 protocol:16;
kmemcheck_bitfield_end(flags1);
///skb的析构函数，一般都是设置为sock_rfree或者sock_wfree.
void (*destructor)(struct sk_buff *skb);

///netfilter相关的域。
#if defined(CONFIG_NF_CONNTRACK) || defined(CONFIG_NF_CONNTRACK_MODULE)
struct nf_conntrack *nfct;
struct sk_buff *nfct_reasm;
#endif
#ifdef CONFIG_BRIDGE_NETFILTER
struct nf_bridge_info *nf_bridge;
#endif

///接收设备的index。
int iif;

///流量控制的相关域。
#ifdef CONFIG_NET_SCHED
__u16 tc_index; /* traffic control index */
#ifdef CONFIG_NET_CLS_ACT
__u16 tc_verd; /* traffic control verdict */
#endif
#endif

kmemcheck_bitfield_begin(flags2);
///多队列设备的映射，也就是说映射到那个队列。
__u16 queue_mapping:16;
#ifdef CONFIG_IPV6_NDISC_NODETYPE
__u8 ndisc_nodetype:2;
#endif
kmemcheck_bitfield_end(flags2);

/* 0/14 bit hole */

#ifdef CONFIG_NET_DMA
dma_cookie_t dma_cookie;
#endif
#ifdef CONFIG_NETWORK_SECMARK
__u32 secmark;
#endif
///skb的标记。
__u32 mark;

///vlan的控制tag。
__u16 vlan_tci;

///传输层的头
sk_buff_data_t transport_header;
///网络层的头
sk_buff_data_t network_header;
///链路层的头。
sk_buff_data_t mac_header;
///接下来就是几个操作skb数据的指针。下面会详细介绍。
sk_buff_data_t tail;
sk_buff_data_t end;
unsigned char *head,
*data;
///这个表示整个skb的大小，包括skb本身，以及数据。
unsigned int truesize;
///skb的引用计数
atomic_t users;
};

sk_buff 为Linux网络层提供了高效的缓冲和流控机制。sk_buff内部包含了缓冲区中报文的信息，这些数据域，主要是下面几个：

sk_buff->head      sk_buff->tail      sk_buff->end

 

struct  sk_buff 的成员 head 指向一个已分配的空间的头部，该空间用于承载网络数据，end 指向该空间的尾部，这两个成员指针从空间创建之后，就不能被修改。data 指向分配空间中数据的头部，tail 指向数据的尾部，这两个值随着网络数据在各层之间的传递、修改，会被不断改动。所以，这四个指针指向共同的一块内存区域的不同位置，该内存区域由__alloc_skb 在创建缓冲区时创建。注意：这些都是char * 类型的指针，指向特定的内存块。

下面这张图表示了buffer从tcp层到链路层的过程中len，head，data，tail以及end的变化，通过这个图我们可以非常清晰的了解到这几个域的区别。 

可以很清楚的看到head指针为分配的buffer的起始位置，end为结束位置，而data为当前数据的起始位置，tail为当前数据的结束位置。len就是数据区的长度。 

 

然后来看transport_header，network_header以及mac_header的变化，这几个指针都是随着数据包到达不同的层次才会有对应的值，我们来看下面的图，这个图表示了当从2层到达3层对应的指针的变化。 

这里可以看到data指针会由于数据包到了三层，而跳过2层的头。这里我们就可以得到data起始真正指的是本层的头以及数据的起始位置。 

 

sk_buff 结构中有三个跟长度相关的量：len 、data_len 、truesize

其中len 是指数据包全部数据的长度，包括 data 指向的数据和 end 后面的分片的数据的总长，而 data_len

只包括分片的数据的长度。而 truesize 的最终值是 len+sizeof(struct sk_buff)。

 data 这个指针指向的位置是可变的，它有可能随着报文所处的层次而变动。当接收报文时，从网卡驱动开始，通过协议栈层层往上传送数据报，通过增加 skb->data 的值，来逐步剥离协议首部；而要发送报文时，各协议创建 sk_buff{}，在经过各下层协议时，通过减少 skb->data的值来增加协议首部。

 

我们来看前面没有解释的那些域。 

我们知道tcp层的控制信息保存在tcp_skb_cb中，因此来看内核提供的宏来存取这个数据结构：

#define TCP_SKB_CB(__skb)  ((struct tcp_skb_cb *)&((__skb)->cb[0]))

在ip层的话，我们可能会用cb来存取切片好的帧。

#define FRAG_CB(skb) ((struct ipfrag_skb_cb *)((skb)->cb))