Die Downtime vom Donnerstag (14.3.2013) bis Samstag (16.3.2013) 3:30 Uhr

[Bernd Glasstetter]

Uff.

Ich glaube wir sind lange nicht mehr dermaßen ins Schwitzen gekommen, wie dies bei diesem Umzug der Fall war. Also mal kurz die chronische Zusammenfassung:

Ende Januar
Wir haben einen neuen Server bestellt. Der Server, den wir Grannus getauft hatten und der im August vergangenen Jahres den vorigen Server abgelöst hatte, sollte immer nur ein Übergangsserver sein. Und das hatte gute Gründe. Bereits im August vergangenen Jahres hatten wir einen Notumzug durchführen müssen, da der Server schon Probleme mit den Festplatten hatte. Wie wir danach erfahren hatten, ist es bei Hetzner leider Praxis gebrauchte Server und Festplatten aufzustellen. Während nichts dagegen spricht gebrauchte Komponenten zu verwenden, wenn es um Prozessoren oder RAM geht, sind Festplatten, die schon vorher in Benutzung waren, ein Sicherheitsrisiko. Wir haben uns also darauf eingestellt beim Comicforum auf Nummer Sicher zu gehen und zu einem anderen Provider zu wechseln.

In der Tat kostet dann der Server, den wir nun verwenden auch das Doppelte, enthält dafür aber auch hochwertige Serverkomponenten, die alle komplett neu sind. Wir haben danach ausführliche Tests durchgeführt und uns auf den Umzug vorbereitet, der deutlich komplexer werden würde, da der neue Server auch komplett anders installiert ist (Debian statt Ubuntu, eine andere Verwaltungssoftware, ganz andere Systematiken). Außerdem hatten wir uns einen Serverexperten an Bord geholt, der uns unterstützte.

Weitere Tests ergaben: Unser zu dem Zeitpunkt im Einsatz befindliche Server war noch soweit in Ordnung. Die Festplatten hatten aber schon ziemlich viele Betriebsstunden auf dem Buckel.

Vergangenen Donnerstag 14.3.2013 ca. 16:30 Uhr
Wir befanden uns im Gespräch mit dem Serverexperten, um den Termin für den Umzug festzulegen und diesen zu kommunizieren. Klar war uns eigentlich: Nicht mehr vor der Leipziger Buchmesse. Doch ein letzter Test der Festplatten im alten Server ergab: Es wurde höchste Eisenbahn. Die entspannte Situation, die wir noch zwei Wochen vorher hatte, war nicht mehr entspannt, sondern akut gefährlich geworden. Etliche Millionen Fehler hatten sich auf einmal angesammelt. Wir mussten damit rechnen, dass die Festplatten nicht mehr lange durchhalten würden. Nach einigen Überlegungen war klar: So schnell es geht umziehen. Und um die Festplatten zu schonen mussten wir alle Dienste abschalten und Euch leider heraus werfen. Es ging nicht anders. Und Vorwarnzeit konnten wir leider auch nicht mehr geben.

Wir informierten über unseren Statusblog http://www.comicforum-status.de (wichtige Anlaufstelle bei Serverproblemen), Twitter, Facebook und schickten eine Infomail an die Verlage heraus.

Zu allem Übel hatten die Festplatten des Backupservers, den wir neben dem Comicforum-Server laufen hatten, schon einige Wochen zuvor deutliche Probleme mit den Festplatten gemeldet.

Ab 17:00 Uhr transferierten wir dann die ersten Daten auf den neuen Server. Erstes Ziel: Die wichtigsten Daten (Datenbanken, Daten, die dynamisch angelegt wurden und nicht auf unseren lokalen Platten vorhanden waren) überspielen. Das war ca. 6 Stunden später fertig. Wir versuchten dann zusammen mit dem Serverexperten eine Spiegelung des gesamten Servers (wobei einige wichtige Serverkomponenten, die nicht gespiegelt werden konnten, dabei außen vor blieben). Unsere alte Konfiguration wäre dabei geblieben, wie sie war. Wir hätten bei Erfolg nur noch die Domains umschalten müssen.

Freitag 15.3.2013 ca. 5:00 Uhr morgens
Der alte Server brach die Übertragung der Daten ab und war nicht mehr erreichbar. Wir konnten am nächsten Morgen diesen erst einmal nicht mehr neu starten. Der neue Server wollte aber auch nicht mehr neu starten und blieb in einer sogenannten Kernel Panic hängen. Beim Übertragen der Daten war also etwas schief gegangen, was das Betriebssystem des neuen Servers zerstörte.

Immerhin ließ sich der alte Server wieder zurück holen. Und wir ließen den neuen Server durch den Provider Bonntel neu installieren. Das dauerte allerdings seine Zeit. Parallel stießen wir eine Spiegelung der wichtigsten Daten auf den Backup-Server an und luden diese dann auch noch einmal auf lokale Rechner herunter.

Freitag 15.3.2013 ca. 14:00 Uhr
Der neue Server stand uns wieder zur Verfügung. Nun galt es dessen Einrichtung, für die wir zuvor einige Wochen hatten, innerhalb von wenigen Stunden durchzuziehen.

Freitag 15.3.2013 ca. 23:00 Uhr
Die Einrichtung war beendet, wir konnten nun die Datenbank-Daten des Comicforums einspielen. Außerdem wurden nun die Daten des Serverplatzes auf den neuen Server überspielt.

Samstag 16.3.2013 ca. 3:30 Uhr
Das Comicforum ging wieder online. Wir waren demnach ca. 35 Stunden offline. Länger als erhofft. Aber immerhin: Wir sind wieder da.

Was noch gemacht werden muss:

• Die Bildergalerie ist noch nicht wieder online.
• Gratis Comic Tag fehlt auch noch
• Und die Splashpages

Diese Bereiche folgenden in den kommenden Stunden.

Festplatten
Noch eine Anmerkung zu Hetzner: Ich habe ausführlich mit der technischen Produktberatung telefoniert am gestrigen Freitag. Mir wurde gesagt, dass es einfach Usus ist geprüfte Festplatten in die Server einzubauen. Angeblich sollen neue Festplatten nicht immer das Gelbe vom Ei sein. Angeblich soll eine Grafik, die man von Festplattenausfällen aufzeichnet, wie ein U aussehen. Am Anfang des Lebenszyklus sollen demnach viele ausfallen und am Ende. Und in der Mitte nur wenige. Unser Serverexperte schaute erst einmal ungläubig, als wir ihm das erzählten und lachte dann lauthals los. Irgendwie muss das wohl recht amüsant gewesen sein.

In der Tat waren die Festplatten im alten Server ca. ein halbes Jahr als, als wir den Server bekamen. Nur was davor darauf los war, wissen wir nicht.

Hetzner hat das wohl auch schon selbst begriffen, dass das so nicht weiter geht bei High-Performance-Anwendungen (und das Comicforum ist eine High-Performance-Anwendung) und hat inzwischen Server im Angebot die interessanterweise preislich ungefähr dort liegen, was wir nun mit der neuen Maschine bezahlen und sogenannte "Enterprise-Festplatten enthalten. Neue Festplatten, wie man mir gestern am Telefon sagte. Obwohl die ja angeblich auch so oft ausfallen, wie alte Festplatten. Interessant...

[HeroKage]

Mir wurde gesagt, dass es einfach Usus ist geprüfte Festplatten in die Server einzubauen. Angeblich sollen neue Festplatten nicht immer das Gelbe vom Ei sein. Angeblich soll eine Grafik, die man von Festplattenausfällen aufzeichnet, wie ein U aussehen. Am Anfang des Lebenszyklus sollen demnach viele ausfallen und am Ende. Und in der Mitte nur wenige. Unser Serverexperte schaute erst einmal ungläubig, als wir ihm das erzählten und lachte dann lauthals los. Irgendwie muss das wohl recht amüsant gewesen sein.

Ich lach mal mit Ich meine ich habe ja "nur" eine 5-jährige Schulausbildung, die diese Themen ganz "leicht tangierte", aber selbst ich hätte da ähnlich reagiert, weil die Aussage so ziemlich allem widerspricht was ich über Festplatten gemeint gelernt zu haben. Wenn meine Festplatten so eine Lebenskurve hätten würde ich den Hersteller verklagen, aber wer bin ich denn, das ich mich auskenne.
Aber schön das ihr wieder da seid, auch wenns länger gedauert hat, war man über den Blog wenigstens immer über den derzeitigen Stand informiert und steht nicht ganz ohne Erklärungen da, wie seinerzeit beim CiL.

[Bernd Glasstetter]

Ich sags mal so: Ich musste mich am Telefon auch sehr zurück halten, um nicht loszulachen. Aber das wurde mir mit einem Ernst in der Stimme erzählt...

[Fr4nk]

Mich würde mal interessieren mit welchen Tools Ihr eigentlich die Festplatten testet, wie komtm man zu dem Ergbnis das da Ausfällt zu erwarten sind? Ich frag nur, weils hier wenn dann überraschend kommt.

[Manfred G]

Hallo!
Schön das wieder alles soweit klappt,das war aber wohl auch einiges an Arbeit...
Zu den Festplatten: Wie bei allen Produkten ist ja mittlerweile der Käufer der End-Tester,soll bedeuten das auch neue Festplatten wenn überhaupt nur kurz getestet werden.Diese gehen also nach ganz kurzer Laufzeit kaputt oder aber es ist alles okey.Das in Servern gebrauchte Festplatten eingebaut werden finde ich schon seltsam weil diese im Normalfall die Komponenten sind die als erstes Probleme verursachen.
Gebrauchte Teile zu verwenden hat immer nur einen Zweck: Geld sparen
Gruß
Manfred

[Kohlenwolle]

Schön das ihr wieder da seit.

Aber mal eine Frage. Wenn ich z.B. mein Profil öffne, sehe ich nur noch einen weißen Bildschirm. Sind da etwa einige Daten verloren gegangen?

[Kohlenwolle]

Hat sich erledigt. Jetzt ist es wieder da.

[abc2030]

Willkommen zurück

[gnovels]

Diese Geschichte schreit nach einer Comic-Umsetzung. Ich möchte euch schwitzen und die Hetzner-Leute flitzen sehen
Spaß beiseite, ...schön dass ihr wieder da seid und danke für die ausführliche Erklärung.
Als langjähriger Community Manager und Besitzer eines Dedicated Servers mit 15,000+ Mitgliedern hab' ich beim Lesen richtig mitgefühlt.

Danke für euren Einsatz und all die Arbeit und Mühe!
Gruß!

gnovels

[Bernd Glasstetter]

Mich würde mal interessieren mit welchen Tools Ihr eigentlich die Festplatten testet, wie komtm man zu dem Ergbnis das da Ausfällt zu erwarten sind? Ich frag nur, weils hier wenn dann überraschend kommt.

Eines der möglichen Tools ist das hier: http://sourceforge.net/apps/trac/smartmontools/wiki

Und ja, man kann die Festplatten doch recht zuverlässig auslesen. Ich glaube die Hauptplatte hatte 25 Millionen Fehler und die zweite Platte 14 Millionen Fehler. Beide Platten waren zwar je 3 TB groß, aber das ist dramatisch, kann man nicht anders sagen.

Natürlich überprüft man den Status nicht ständig. Aber wir waren vorgewarnt und hatten immer wieder überprüft. Und das war gut so, wie man nun gesehen hat.

[Bernd Glasstetter]

Schön das ihr wieder da seit.

Aber mal eine Frage. Wenn ich z.B. mein Profil öffne, sehe ich nur noch einen weißen Bildschirm. Sind da etwa einige Daten verloren gegangen?

Kann durchaus sein, dass das daran gelegen hatte, dass die Bildergalerie da noch nicht aktiv war. Ist sie aber inzwischen wieder. Da sind ja auch noch ein paar Daten eingebunden.

Diese Geschichte schreit nach einer Comic-Umsetzung. Ich möchte euch schwitzen und die Hetzner-Leute flitzen sehen
Spaß beiseite, ...schön dass ihr wieder da seid und danke für die ausführliche Erklärung.

Wenn die bei Hetzner wenigstens geflitzt wären... Nach der Meldung am Freitag morgen an den Support, dass der alte Server steht, haben die fast eine Stunde gebraucht, bis er wieder da war. Und das war nicht, weil das problembehaftet war. Nein, die hatten einfach nur so viel zu tun. Ach ja: Am Telefon sagte man mir, dass ich nicht der einzige mit den Festplattenproblemen an dem Tag war. Wundert mich auch ehrlich gesagt nicht...

[Llyd]

Der alte Server ist tot. Lang lebe der Server!
Schön das ihr wieder online seid

[QBorg]

@Bernd: Warst du schonmal bei Hetzner in den RZ gewesen?
Ich schon ... und zum Vergleich auch mal in anderen RZ ...

Ich will nicht lästern - aber man sieht schon den Preisunterschied, den man monatlich zahlt.

Der neue Server ist auf alle Fälle fixer geworden, danke für die Arbeit und den Hauruck-Spontanumzug (ich weiss, das kostet Nerven, Blut und Schweiß).

[DER LETZTE APACHE]

(ich weiss, das kostet Nerven, Blut und Schweiß).

....und Tränen!

36 Stunden comicforum-Abstinenz ist wie 36 Stunden im Stau stehen. -- keinen Kaffee, keine Mahlzeit, keine warme Decke.

[Mikku-chan]

....und Tränen!

36 Stunden comicforum-Abstinenz ist wie 36 Stunden im Stau stehen. -- keinen Kaffee, keine Mahlzeit, keine warme Decke.

Ich hatte aber auch fast Entzugserscheinungen

Aber schön, dass alles wohl klappt - und hoffen wir, dass es das jetzt erstmal war. ^^

[Bernd Glasstetter]

@Bernd: Warst du schonmal bei Hetzner in den RZ gewesen?
Ich schon ... und zum Vergleich auch mal in anderen RZ ...

Ich will nicht lästern - aber man sieht schon den Preisunterschied, den man monatlich zahlt.

Bisher nicht. Aber dem Vernehmen nach sollen da lauter Tower-Rechner stehen und nicht wie sonst üblich Blade-Rechner in Racks reingeschoben.

36 Stunden comicforum-Abstinenz ist wie 36 Stunden im Stau stehen. -- keinen Kaffee, keine Mahlzeit, keine warme Decke.

Ich hatte aber auch fast Entzugserscheinungen

/me schickt Euch mal einen Suchtberater vorbei. Aber sowas von

http://www.gratiscomictag.de ist btw. auch wieder online. Letzte große Baustelle (im wahrsten Sinne des Wortes, weil da die meisten Dateien zu transferieren sind) sind die Splashpages. Drückt uns die Daumen, dass da noch alles klappt und wir dort im Laufe der Nacht wieder online kommen.

[Gena]

Schön, dass die Downtime vorbei und das Forum wieder erreichbar ist. Danke für die Arbeit

Kann durchaus sein, dass das daran gelegen hatte, dass die Bildergalerie da noch nicht aktiv war. Ist sie aber inzwischen wieder. Da sind ja auch noch ein paar Daten eingebunden.

Ist das der Grund, warum die beiden Tabs "Kreativ" und "Händler" noch nicht funktionieren?
"Kreativ" erzeugt bei mir eine weiße Seite, "Händler" gibt folgenden Text aus: I cannot connect to the database.

[DER LETZTE APACHE]

/me schickt Euch mal einen Suchtberater vorbei. Aber sowas von

Nein. Keinen Sabbelheini schicken...

Aber den Pizzaservice incl. Cola u.

[QBorg]

Bisher nicht. Aber dem Vernehmen nach sollen da lauter Tower-Rechner stehen und nicht wie sonst üblich Blade-Rechner in Racks reingeschoben.

So in etwa haben die Server Rechner damals ausgeschaut:



Wenn ich mich da an das RZ von Noris stattdessen erinnere (in dem ich Atemprobleme hatte, da zur Brandprävention dort der Sauerstoffgehalt auf Tibet-Niveau ist)...

[Bernd Glasstetter]

Ist das der Grund, warum die beiden Tabs "Kreativ" und "Händler" noch nicht funktionieren?
"Kreativ" erzeugt bei mir eine weiße Seite, "Händler" gibt folgenden Text aus: I cannot connect to the database.

Bei Händler werden Daten der Splashpages geladen. Ist aber noch nicht wieder da. Und bei Kreativ hängen noch die Datenbankdaten vom alten Photopost drin. Müssen wir noch korrigieren. Also es hat noch Auswirkungen und erst wenn alle Datenbanken und Daten korrekt drin sind, können wir alles komplett durchtesten.

[Gena]

Verstehe. Danke für die Info

Edit: Der Kreativ-Tab funktioniert wieder

[Bernd Glasstetter]

Der Kreativtab geht übrigens wieder hehe, da war ich zu langsam mit dem Posting

[Fr4nk]

Eines der möglichen Tools ist das hier: http://sourceforge.net/apps/trac/smartmontools/wiki

Ach guck an, das gibt es sogar für mein geliebtes OS/2. Ab jetzt nur noch kontrollierter Datenverlust. Danke für den Tipp, Bernd!

[Bernd Glasstetter]

OS/2? Wow, wo hast Du das Diskettenlaufwerk her, um das noch installieren zu können?

[Desty]

Mal ne Frage bei meinen Abbonierten Themen bekomm ich keine benachrichtigungs Mail wenn ein neuer Post geschrieben wurde .

Ist das Normal ?