====== Analyse der  System Performance  High Load Average, Low CPU ======

Auf einem Linux System steigt urplötzlich die Load Average ohne das aber geleichzeitig die CPU Last ansteigt. 

Auch ist ein signifikanter Anstieg von I/O Zeiten nicht zu beobachten.

==== Analyse: ====

Top Kommando:
<code bash>

top 

... load average: 124.63, 99.59, 107.64
Tasks: 2886 total,   6 running, 2880 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.5%us,  1.2%sy,  0.0%ni, 97.2%id,  0.1%wa,  0.0%hi,  0.0%si,  0.0%st
...

</code>

Load Historie mit Sar auswerten:
<code bash>
sar -q
..
02:20:01 PM         8      4179    117.76    116.14    108.70
02:30:01 PM         4      4229    124.02    122.32    115.39
..
</code>


Status D (Uninterruptible sleep (usually IO)) der wartenden Prozesse untersuchen:
<code bash>
ps auxf | awk '{if($8=="D") print $0;}'
</code>

Ein Prozess im Status "D" kann nicht abgebrochen werden.

Zitat:
//...
Frequently the most effective manner to do this without hitting the power switch is to pull the power chord.
..//

Über lsof püfen, was für Dateien von diesen Prozessen geöffnet sind:
<code bash>
lsof   <pid von oben>
</code>

Kontrolle von /var/log/messages auf Fehler bzgl. dem obigen Verzeichnis Pfad oder ähnlichen I/O Meldungen:
<code bash>
cat /var/log/messages
</code>

Eine mögliche Ursache kann in einem  "defekten" NFS Mounts liegen, die Prozesse wollen auf den NFS Mount zugreifen und die Prozesse warten lange  auf eine Antwort.

==== Quellen ====

  * https://blogs.oracle.com/ksplice/entry/disown_zombie_children_and_the
  * https://openvz.org/Processes_in_D_state