1. Memory and network stack tuning in Linux:
the story of highly loaded servers migration to fresh Linux distribution
Dmitry Samsonov
Всем привет! Привет, админы!
надеюсь все передохнули, обсудили доклады и готовы к новой информации

2. Dmitry Samsonov Expertise: Zabbix CFEngine Linux tuning
Lead System Administrator at Odnoklassniki
Expertise:
Zabbix
CFEngine
Linux tuning

3. OpenSuSE 10.2 Release: 07.12.2006 End of life: 30.11.2008 CentOS 7
В конце прошлого года мы начали переводить наши сервера со старого Opensuse на новый Centos, потому что обновлять пакеты своими силами становилось всё труднее, разработчики требовали новые версии приложений и библиотек, а безопасники пугали уязвимостями.

4. Video distribution 4 x 10Gbit/s to users 2 x 10Gbit/s to storage
256GB RAM — in-memory cache
22 х 480GB SSD — SSD cache
2 х E v2
Благодаря качественному подготовительному процессу миграция пошла гладко и центос пополз по проду, пришла очередь серверов видео раздачи, самых мощных и нагруженным в проде
таких серверов у нас больше 40
после раскатки мы столкнулись с чередой проблем, так же заодно мы решили разобраться и с некоторыми старыми проблемами

5. TOC Memory OOM killer Swap Network Broken pipe
Network load distribution between CPU cores
SoftIRQ
о том как мы их решали и заново открывали для себя линукс и будет мой доклад
Всего будет 5 частей - 2 про память и 3 про сеть. Итак, начнём.

6. Memory
OOM killer

7. 1. All the physical memory
3. Each zone
NODE 0 (CPU N0)
NODE 1 (CPU N1)
20*PAGE_SIZE
21*PAGE_SIZE
22*PAGE_SIZE
23*PAGE_SIZE
24*PAGE_SIZE
25*PAGE_SIZE
26*PAGE_SIZE
27*PAGE_SIZE
28*PAGE_SIZE
29*PAGE_SIZE
210*PAGE_SIZE
2. NODE 0 (only)
ZONE_NORMAL (4+GB)
Ноды
Зоны
Чанки
память доступна приложениям не как 1 кусок, а как много кусков разного размера
сначала они большие, по мере выделения приложениям они режутся на более мелкие
ZONE_DMA32 (0-4GB)
ZONE_DMA (0-16MB)

8. OOM killer, system CPU spikes!
What is going on?
OOM killer, system CPU spikes!
18:00 до 12:00
час пик, ночь

9. Memory fragmentation Memory after server has booted up After some time
After some more time
Фрагмантация есть всегда, но не всегда она мешает.

10. Why this is happening? Lack of free memory Memory pressure

11. What to do with fragmentation?
Increase vm.min_free_kbytes!
High/low/min watermark.
/proc/zoneinfo
Node 0, zone Normal
pages free
min
low
high
увеличивая шанс, что в ней будут свободными страницы нужного размера
уровень (watermark) при котором начинается reclaim и в случае неудачи compaction (дефрагментация памяти)
увеличивать пока проблемы не прекратятся, у нас 1Г, а по умолчанию высчитывает ядро по объёму памяти

12. Current fragmentation status
/proc/buddyinfo
Node 0, zone DMA
Node 0, zone DMA
Node 0, zone Normal
Node 1, zone Normal

13. Why is it bad to increase min_free_kbytes?
Part of the memory min_free_kbytes-sized will not be available.
ни приложение, ни ядром
даже под page cache
Был случай, когда спасло только min_free_kbytes =10Г

14. Memory
Swap

15. 40GB of free memory and vm.swappiness=0, but server is still swapping!
What is going on?
40GB of free memory and vm.swappiness=0, but server is still swapping!
Кроме фрагментации.
Может просто тормозить, или опять же съедать system time, т.к. свободные страницы будут на другой ноде.
NUMA

16. 1. All the physical memory
3. Each zone
NODE 0 (CPU N0)
NODE 1 (CPU N1)
20*PAGE_SIZE
21*PAGE_SIZE
22*PAGE_SIZE
23*PAGE_SIZE
24*PAGE_SIZE
25*PAGE_SIZE
26*PAGE_SIZE
27*PAGE_SIZE
28*PAGE_SIZE
29*PAGE_SIZE
210*PAGE_SIZE
2. NODE 0 (only)
ZONE_NORMAL (4+GB)
если хв и ос Numa-aware, то приложения будут получать память на той ноде на которой работают, будет выше cache hit и выше скорость
ZONE_DMA32 (0-4GB)
ZONE_DMA (0-16MB)

17. Uneven memory usage between nodes
Free
Used
Free
Used
NODE 0
(CPU N0)
NODE 1
(CPU N1)
у нас на серверах есть 1 большой tmpfs, который создаётс 1 тридом, поэтому в основном использовалась память одной ноды
при высоком memory pressure ядро может решить, что засвопить часть страниц лучше, чем мигрировать их между нодами

18. Current usage by nodes numastat -m <PID> numastat -m
Node Node Total
MemFree
...
у нас на серверах есть 1 большой tmpfs, который создаётся 1 тридом, поэтому в основном использовалась память одной ноды

19. What to do with NUMA? Prepare application Multithreading in all parts
Node affinity
Turn off NUMA
For the whole system (kernel parameter):
numa=off
Per process:
numactl — interleave=all <cmd>
Многопоточность, что бы не было какого-то элемента приложения, который будет висеть на одной ноде и пороть работу всего приложегния.

20. Network
Про сеть с высокой пропускной способностью!

21. What already had to be done
Ring buffer: ethtool -g/-G
Transmit queue length: ip link/ip link set <DEV> txqueuelen <PACKETS>
Receive queue length: net.core.netdev_max_backlog
Socket buffer: net.core.<rmem_default|rmem_max>
net.core.<wmem_default|wmem_max>
net.ipv4.<tcp_rmem|udp_rmem>
net.ipv4.<tcp_wmem|udp_wmem>
net.ipv4.udp_mem
Offload: ethtool -k/-K

22. Network
Broken pipe

23. What is going on? Broken pipe errors background
In tcpdump - half-duplex close sequence.
Проблема была ДО centos
Первая сетевая проблема заключалась в фоне ошибок broken pipe.
По дампу трафика было видно, что клиенты, связь с которыми завершается ошибкой Broken pipe, пред этим совершают быстрое закрытие TCP соединения - half-duplex close sequence.
Почему это происходит?

24. OOO Out-of-order packet, i.e. packet with incorrect SEQuence number.
Приводит к некорректному (для отправителя данных) закрытию соединения - half-duplex tcp close sequence, т.е. отправитель просто получит RST.
OOO, т.е. не тот SEQ.
это плохо, потому что retransmit

25. What to do with OOO? One connection packets by one route:
Same CPU core
Same network interface
Same NIC queue
Configuration:
Bind threads/processes to CPU cores
Bind NIC queues to CPU cores
Use RFS
выбор очередей в карте
выбор интерфейсов в бонде (в обоих направлениях)
выбор ядра для очереди
выбор ядра для процесса/триды
про RFS будет дальше

26. Before/after Broken pipes per second per server
результат

27. Why is static binding bad?
Load distribution between CPU cores might be uneven

28. Network load distribution between CPU cores
Поиск в гугле по повышенной нагрузке на CPU0 возвращает от 50 тысяч до 150 тысяч страниц. Как вы думаете сколько по CPU1? До миллиона, но ни одного релевантного.

30. CPU0 utilization at 100%

31. Why this is happening? Single queue - turn on more: ethtool -l/-L
Interrupts are not distributed:
dynamic distribution - launch irqbalance/irqd/birq
static distribution - configure RSS
динамика распределяет неравномерно
строго говоря, динамическое распределение может быть полезным, когда важна latency, т.к. демоны учитывают NUMA и соблюдают локальность данных

32. RSS CPU RSS eth0 1 2 3 4 5 6 7 8 9 10 11 12 Q0 Q1 Q2 Q3 Q4 Q5 Q6 Q71 2 3 4 5 6 7 8 9 10 11 12
eth0 Q0 Q1 Q2 Q3 Q4 Q5 Q6 Q7
Допустим мы это сделали CPU0 отпустило
Пропускная способность выросла, но вскоре опять упёрлись в нагрузку по другим ядрам
Network

33. CPU0-CPU7 utilization at 100%
статическое распределение через RSS

34. We need more queues!

35. 16 core utilization
at 100%
RSS может распределить нагрузку только на 16 очередей

36. scaling.txt RPS = Software RSS XPS = RPS for outgoing packets
RFS? Use packet consumer core number
tation/networking/scaling.txt
мы это используем!

37. Why is RPS/RFS/XPS bad?
Load distribution between CPU cores might be uneven.
CPU overhead
т.к. отдельные соединения могут быть быстрее
если тридов приложеня меньше, чем ядер

38. Accelerated RFS
Mellanox supports it, but after switching it on maximal throughput on 10G NICs were only 5Gbit/s.

39. Signature Filter (also known as ATR - Application Targeted Receive)
Intel
Signature Filter (also known as ATR - Application Targeted Receive)
RPS+RFS counterpart
Хуже распределяет нагрузку и допускает packet reordering

40. Network SoftIRQ мутная тема
Не смотря на то что это раздача и исходящих пакетов больше, softirq net_rx прерываний значительно больше, об этом поговорим чуть позже.

41. How SoftIRQs are born Network eth0 Q0 Q...
Что происходит при получении пакета: …
eth0 Q0
Q...

42. How SoftIRQs are born Network CPU C0 C... HW IRQ 42 eth0 Q0 Q... RSS
генерируются на первый пакет,
CPU C0
C...
HW IRQ 42
eth0 Q0
Q...
RSS

43. How SoftIRQs are born Network SoftIRQ NET_RX CPU0
HW interrupt processing is finished
затем отключаются, выгребается N пакетов, затем включаются
CPU C0
C...
HW IRQ 42
eth0 Q0
Q...
RSS

44. How SoftIRQs are born Network SoftIRQ NET_RX CPU0
HW interrupt processing is finished
NAPI poll
HW отключаются, выгребается N пакетов, затем включаются
CPU C0
C...
HW IRQ 42
eth0 Q0
Q...
RSS

45. What to do with high SoftIRQ?

46. Interrupt moderation
ethtool -c/-C

47. Why is interrupt moderation bad?
You have to balance between throughput and latency

48. What is going on?
Too rapid growth

49. Health ministry is warning!
CHANGES
REVERT!
обязательно откатывайте те изменения, который вам не дали однозначного выигрыша!
в противном случае рано или поздно они ухудшат производительность системы!
KEEP IT
TESTS

50. Thank you! Dmitry Samsonov dmitry.samsonov@odnoklassniki.ru
Odnoklassniki technical blog on habrahabr.ru
More about us
Dmitry Samsonov
На выполнение этой задачи было потрачено много времени, но мы
решили и старые, и новые проблемы
освоили новые технологии и углубили знания о линуксе
и самое главное - получили бесценный опыт
Подходите ко мне после доклада, задавайте вопросы, рассказывайте про ваши истории успеха и проблемы - мне это интересно!