• 解决 nf_conntrack: table full, dropping packet 的几种思路


    解决 nf_conntrack: table full, dropping packet 的几种思路

    nf_conntrack 工作在 3 层,支持 IPv4 IPv6,而 ip_conntrack 只支持 IPv4目前,大多的 ip_conntrack_* 已被 nf_conntrack_* 取代,很多 ip_conntrack_* 仅仅是个 alias,原先的 ip_conntrack /proc/sys/net/ipv4/netfilter/ 依然存在,但是新的 nf_conntrack /proc/sys/net/netfilter/ 中,这个应该是做个向下的兼容:

    $ pwd

    /proc/sys/net/ipv4/netfilter

    $ pwd

    /proc/sys/net/netfilter

    查看当前的连接数:

    # grep ip_conntrack /proc/slabinfo

    ip_conntrack       38358  64324    304   13    1 : tunables   54   27    8 : slabdata   4948   4948    216

    查出目前 ip_conntrack 的排名:

    $ cat /proc/net/ip_conntrack | cut -d ' ' -f 10 | cut -d '=' -f 2 | sort | uniq -c | sort -nr | head -n 10

    nf_conntrack/ip_conntrack nat 有关,用来跟踪连接条目,它会使用一个哈希表来记录 established 的记录。nf_conntrack 2.6.15 被引入,而 ip_conntrack 2.6.22 被移除,如果该哈希表满了,就会出现:

    nf_conntrack: table full, dropping packet

    解决此问题有如下几种思路。

    1.不使用 nf_conntrack 模块

    首先要移除 state 模块,因为使用该模块需要加载 nf_conntrack。确保 iptables 规则中没有出现类似 state 模块的规则,如果有的话将其移除:

    -A INPUT -m state –state RELATED,ESTABLISHED -j ACCEPT

    注释 /etc/sysconfig/iptables-config 中的:

    IPTABLES_MODULES="ip_conntrack_netbios_ns"

    移除 nf_conntrack 模块:

    $ sudo modprobe -r xt_NOTRACK nf_conntrack_netbios_ns nf_conntrack_ipv4 xt_state

    $ sudo modprobe -r nf_conntrack

    现在 /proc/net/ 下面应该没有 nf_conntrack 了。

    2.调整 /proc/ 下面的参数

    可以增大 conntrack 的条目(sessions, connection tracking entries) CONNTRACK_MAX 或者增加存储 conntrack 条目哈希表的大小 HASHSIZE

    默认情况下,CONNTRACK_MAX HASHSIZE 会根据系统内存大小计算出一个比较合理的值:

    对于 CONNTRACK_MAX,其计算公式:

    CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32)

    比如一个 64 48G 的机器可以同时处理 48*1024^3/16384/2 = 1572864 netfilter 连接。对于大于 1G 内存的系统,默认的 CONNTRACK_MAX 65535

    对于 HASHSIZE,默认的有这样的转换关系:

    CONNTRACK_MAX = HASHSIZE * 8

    这表示每个链接列表里面平均有 8 conntrack 条目。其真正的计算公式如下:

    HASHSIZE = CONNTRACK_MAX / 8 = RAMSIZE (in bytes) / 131072 / (ARCH / 32)

    比如一个 64 48G 的机器可以存储 48*1024^3/131072/2 = 196608 buckets(连接列表)。对于大于 1G 内存的系统,默认的 HASHSIZE 8192

    可以通过 echo 直接修改目前系统 CONNTRACK_MAX 以及 HASHSIZE 的值:

    $ sudo su -c "echo 100000 > /proc/sys/net/netfilter/nf_conntrack_max"

    $ sudo su -c "echo 50000 > /proc/sys/net/netfilter/nf_conntrack_buckets"

    还可以缩短 timeout 的值:

    $ sudo su -c "echo 600 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established"

    3.使用 raw 表,不跟踪连接

    iptables 中的 raw 表跟包的跟踪有关,基本就是用来干一件事,通过 NOTRACK 给不需要被连接跟踪的包打标记,也就是说,如果一个连接遇到了 -j NOTRACKconntrack 就不会跟踪该连接,raw 的优先级大于 mangle, nat, filter,包含 PREROUTING OUTPUT 链。

    当执行 -t raw 时,系统会自动加载 iptable_raw 模块(需要该模块存在)raw 2.4 以及 2.6 早期的内核中不存在,除非打了 patch,目前的系统应该都有支持:

    $ sudo iptables -A FORWARD -m state --state UNTRACKED -j ACCEPT

    $ sudo iptables -t raw -A PREROUTING -p tcp -m multiport --dport 80,81,82 -j NOTRACK

    $ sudo iptables -t raw -A PREROUTING -p tcp -m multiport --sport 80,81,82 -j NOTRACK

    上面三种方式,最有效的是 1 3,第二种治标不治本。

    原文

    http://jaseywang.me/2012/08/16/%E8%A7%A3%E5%86%B3-nf_conntrack-table-full-dropping-packet-%E7%9A%84%E5%87%A0%E7%A7%8D%E6%80%9D%E8%B7%AF/

    linux源码库

    http://www.oschina.net/code/explore/pf-kernel/net/netfilter/nf_conntrack_core.c

    ref:

    http://www.digipedia.pl/usenet/thread/16263/7806/

    http://serverfault.com/questions/72366/how-do-i-disable-the-nf-conntrack-kernel-module-in-centos-5-3-without-recompilin

    http://wiki.khnet.info/index.php/Conntrack_tuning

  • 相关阅读:
    springboot redis多数据源
    springboot mybatis 多数据源配置
    java jackson 忽略不存在的属性字段 和 按照属性名转json
    java 四舍五入保留两位小数
    supervisord supervisorctl 问题supervisor.sock refused connection
    2
    1
    Python开发【程序】:三级菜单程序
    Python开发【第二章】:补充
    Python开发【第二章】:深浅拷贝剖析
  • 原文地址:https://www.cnblogs.com/mydomain/p/3087153.html
Copyright © 2020-2023  润新知