[Ru_ngi] 10Gbs tuning on linux

[Viktor Kotliar]

Всем привет!

Может пригодится.

Вот такое начал применять для 10G /etc/sysctl.d/99-network-tuning.conf 
[1] и настройки карточки [2]. MTU 9000.


Для 100Гбс (connect-x6 ethernet mode) ещё добавляю
sudo ethtool -G enp101s0f1 rx 8192 tx 8192
sudo mlnx_tune  -p HIGH_THROUGHPUT
sudo setpci -s af:00.1 68.w=5930


Удачи!
Виктор

п.с. на синтетических тестах IPv6 хуже - его не тюнил, не нашёл что пока
[1]
```
net.core.wmem_max=134217728
net.core.rmem_max=134217728
net.ipv4.tcp_moderate_rcvbuf=1
net.ipv4.tcp_wmem=4096 65536 134217728
net.ipv4.tcp_rmem=4096 65536 134217728
net.ipv4.tcp_congestion_control=htcp
net.core.netdev_max_backlog=300000
net.ipv4.tcp_fin_timeout=7
net.ipv4.tcp_slow_start_after_idle=0
net.ipv4.tcp_fack=1
net.ipv4.tcp_window_scaling=1
net.ipv4.tcp_sack=0
net.ipv4.tcp_timestamps=0
net.ipv4.tcp_low_latency=1
net.ipv4.tcp_adv_win_scale=1
net.ipv4.tcp_mtu_probing=1
net.ipv4.tcp_no_metrics_save=1
```

[2]
```
  sudo ethtool -K eno1 tx on rx on tso on gso on lro on sg on
  sudo ethtool -G eno1 rx 4096 tx 4096
  sudo ifconfig eno1 txqueuelen 20000

```

On 04.02.2021 09:57, Viktor Kotliar wrote:
> Всем привет!
> 
> В продолжение темы про 10Гбс карты на Linux, не поделится ли кто-нибудь 
> своими заметками\конфигами по тюнингу карт под Linux.
> 
> Может быть есть уже какие-то используемые и устоявшиеся практики в 
> продакшен (must have)
> 
> CentOS, Ubuntu, Debian
> 
> Так же, если у кого-то есть фишки по 100Гбс Ethernet тюнингу Linux, тоже 
> бы было интересно.
> 
> Спасибо заранее!
> С уважением
> Виктор