Sonntag, 5. April 2009

Live gehen mit Produktionsproblemen

Diese Woche war für mich ziemlich stressig. Statt meiner vier Tage Woche habe ich wieder einmal fünf Tage gearbeitet. Grund war, dass wir diese Woche mit dem nächsten Releasen live gehen wollten. Ursprünglich sollte das Dienstag erfolgen. Das wurde verworfen, weil Dienstag der Monatsabschluss gerechnet wird und wir nicht mit dem Monatsabschluss in Konflikt geraten wollten. Deswegen sind wir dann Mittwoch live gegangen.

Mittwoch Morgen stellte sich heraus, dass der Monatsabschluss in der Nacht nicht gelaufen war und es Produktionsprobleme gab. Die Admins waren also den ganzen Tag damit beschäftigt, die Produktionsprobleme zu beheben. Wir sind dann am Nachmittag trotzdem live gegangen. Ein Fehler. Um es mal aus Risikomanagementsicht darzustellen: Wenn der Patient gerade einen Herzanfall hat, muss der jährliche Checkup beim Zahnarzt warten.

Donnerstag gab es dann Hardware Probleme. Der Speicher des Datenbankservers war defekt. Das hatte ziemlich missliche Seiteneffekte. Die Performanz unserer Reports litt. Und unsere Batches waren nicht sauber gelaufen. Unser System stand. Wieder hatten die Admins wichtigere Themen, als sich um unser System zu kümmern. Ich kämpfte mit Performanzoptimierungen und mit dem Nachimportieren der Batches.

Am Freitag waren die allgemeinen Produktionsprobleme behoben und jetzt streikte unser System wieder. Unsere Batches waren über Nacht in einen Deadlock gelaufen. Sie waren zu früh gelaufen und waren mit dem Hauptbatch in Konflikt geraten. Zusätzlich funktionierten die online Aktualisierungen nicht mehr. Beides kostete mich wieder den Vormittag, wobei ich für beide Fehler verantwortlich war :/

Was mich diese Woche gelernt hat: Nie trotz Produktionsproblemen live gehen.

Keine Kommentare:

Kommentar veröffentlichen