Linux UDP sendto error: Operation not permitted解決方案__Linux

該問題是在Linux下多線程通訊的情況下出現該的，一台裝置上多個線程向同一個IP地址的同一個連接埠發送UDP資訊，而且是當程式正常工作一段時間之後，出現的。而且發送包的數量比較大，所以猜測可能串連跟蹤表滿了，導致丟包。所以尋找資料，採用了如下方法：

iptables -A FORWARD -m state --state UNTRACKED -j ACCEPT
      iptables -t raw -A PREROUTING -p tcp -m multiport --dport 9001,9000,9002 -j NOTRACK
      iptables -t raw -A PREROUTING -p tcp -m multiport --sport 9001,9000,9002 -j NOTRACK

9000， 9001， 9002是程式中使用的連接埠。

解決 nf_conntrack: table full, dropping packet 的幾種思路

nf_conntrack 工作在 3 層，支援 IPv4 和 IPv6，而 ip_conntrack 只支援 IPv4。目前，大多的 ip_conntrack_* 已被 nf_conntrack_* 取代，很多 ip_conntrack_* 僅僅是個 alias，原先的 ip_conntrack 的 /proc/sys/net/ipv4/netfilter/ 依然存在，但是新的 nf_conntrack 在 /proc/sys/net/netfilter/ 中，這個應該是做個向下的相容：

$ pwd

/proc/sys/net/ipv4/netfilter

$ pwd

/proc/sys/net/netfilter

查看當前的串連數：

# grep ip_conntrack /proc/slabinfo

ip_conntrack       38358  64324    304   13    1 : tunables   54   27    8 : slabdata   4948   4948    216

查出目前 ip_conntrack 的排名：

$ cat /proc/net/ip_conntrack | cut -d ' ' -f 10 | cut -d '=' -f 2 | sort | uniq -c | sort -nr | head -n 10

nf_conntrack/ip_conntrack 跟 nat 有關，用來跟蹤串連條目，它會使用一個雜湊表來記錄 established 的記錄。nf_conntrack 在 2.6.15 被引入，而 ip_conntrack 在 2.6.22 被移除，如果該雜湊表滿了，就會出現：

nf_conntrack: table full, dropping packet

解決此問題有如下幾種思路。

1.不使用 nf_conntrack 模組

首先要移除 state 模組，因為使用該模組需要載入 nf_conntrack。確保 iptables 規則中沒有出現類似 state 模組的規則，如果有的話將其移除：

-A INPUT -m state –state RELATED,ESTABLISHED -j ACCEPT

注釋 /etc/sysconfig/iptables-config 中的：

IPTABLES_MODULES="ip_conntrack_netbios_ns"

移除 nf_conntrack 模組：

$ sudo modprobe -r xt_NOTRACK nf_conntrack_netbios_ns nf_conntrack_ipv4 xt_state

$ sudo modprobe -r nf_conntrack

現在 /proc/net/ 下面應該沒有 nf_conntrack 了。

2.調整 /proc/ 下面的參數

可以增大 conntrack 的條目(sessions, connection tracking entries) CONNTRACK_MAX 或者增加儲存 conntrack 條目雜湊表的大小 HASHSIZE

預設情況下，CONNTRACK_MAX 和 HASHSIZE 會根據系統記憶體大小計算出一個比較合理的值：

對於 CONNTRACK_MAX，其計算公式：

CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32)

比如一個 64 位 48G 的機器可以同時處理 48*1024^3/16384/2 = 1572864 條 netfilter 串連。對於大於 1G 記憶體的系統，預設的 CONNTRACK_MAX 是 65535。

對於 HASHSIZE，預設的有這樣的轉換關係：

CONNTRACK_MAX = HASHSIZE * 8

這表示每個連結清單裡面平均有 8 個 conntrack 條目。其真正的計算公式如下：

HASHSIZE = CONNTRACK_MAX / 8 = RAMSIZE (in bytes) / 131072 / (ARCH / 32)

比如一個 64 位 48G 的機器可以儲存 48*1024^3/131072/2 = 196608 的buckets(串連列表)。對於大於 1G 記憶體的系統，預設的 HASHSIZE 是 8192。

可以通過 echo 直接修改目前系統 CONNTRACK_MAX 以及 HASHSIZE 的值：

$ sudo su -c "echo 100000 > /proc/sys/net/netfilter/nf_conntrack_max"

$ sudo su -c "echo 50000 > /proc/sys/net/netfilter/nf_conntrack_buckets"

還可以縮短 timeout 的值：

$ sudo su -c "echo 600 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established"

3.使用 raw 表，不跟蹤串連

iptables 中的 raw 表跟包的跟蹤有關，基本就是用來幹一件事，通過 NOTRACK 給不需要被串連跟蹤的包打標記，也就是說，如果一個串連遇到了 -j NOTRACK，conntrack 就不會跟蹤該串連，raw 的優先順序大於 mangle, nat, filter，包含 PREROUTING 和 OUTPUT 鏈。

當執行 -t raw 時，系統會自動載入 iptable_raw 模組(需要該模組存在)。raw 在 2.4