Monitoring Kafka Probleme
@All Heute morgen war der Plattenplatz aller server unseres Kafka clusters voll (log - Partition)
Ich hatte versucht, dem gestern abend vorzubeugen, indem ich das topic sb-all gelöscht und mit Replikationsfaktor 1 neu erstellt hatte. Anschliessend startete ich den Lafeprozess neu, dies hat uns aber vor dem Vollaufen der Platten nicht bewahrt
Jonas: Bin mir nicht sicher, was das Löschen und Neuaufbau des topics für Auswirkungen auf Deine (Sebastians) workflows hatte
Das Vollaufen der Platten hatte wohl zur Folge, dass alle broker heruntergefahren worden sind (es liefen keine Prozesse mehr) Für die CBSConsumer Prozesse (Start morgens um 6:30 Uhr) bedeutete dies, dass sie blockierten. Da wir noch ein wenig Platz (80G) auf allen servern in Reserve hatten, habe diesen zuerst zugewiesen und den cluster neu gestartet.
Interessant war, dass nach einer gewissen Zeit (ca. 5 Minuten), in der Indexierungsprozesse stattfanden, sich der cluster wieder justieren konnte. Die geblockten cbsconsumer Prozesse konnten dadurch alle erfolgreich abgeschlossen werden. Das ist schön!
Bei Christoph habe ich für jeden server zusätzlich 500G angemeldet. Die sollten sehr bald zur Verfügung stehen. Meine Idee ist, dass wir für die zusätzlichen 500G einen weiteren Mountpoint erstellen, so dass nicht alle Daten in nur ein Verzeichnis geschrieben werden (und der content auf den Festplatten mehr verteilt wird)
sb-all hat im Moment nur den Replikationsfaktor 1. Ich denke, ich werde das wieder auf 2 erhöhen, wenn wir zusaätzlichen Plattenplatz haben. Anschliessend das topic neu erstellen. @SoulLink ; So wie ich das gesehen habe, hast Du sowieso die Defaulteinstellung für alle topics auf 2 angehoben
Können wir diesen thread zur Kommunikation über die cluster-Probleme nutzen?